Résumé Technique : Délibération Multi-Agents LLM avec Budgétisation de l'Action ou du Report et Bornes de Fiabilité Locales

1. Énoncé du Problème

Le papier traite du défi du déploiement des systèmes de délibération multi-agents basés sur les modèles de langage de grande taille (LLM). Bien que les débats multi-agents améliorent les capacités de raisonnement, le déploiement pratique nécessite un mécanisme principled pour décider quand le système doit agir de manière autonome et quand il doit s'en remettre à une révision humaine. Les approches existantes reposent généralement sur des cycles d'arrêt fixes avec des garanties de couverture marginales (par exemple, la prédiction conforme partitionnée) ou des seuils de consensus heuristiques qui manquent de contrôle explicite sur la probabilité d'actions erronées.

Le problème central est formulé comme une prise de décision budgétisée entre l'action et le report : étant donné un « budget d'actions erronées » ($\beta$) spécifié par l'utilisateur, le système doit déterminer une règle d'arrêt $\tau$ telle que la probabilité d'agir sur une réponse incorrecte soit bornée par $\beta$, tout en maximisant le taux d'action autonome (automatisation). Cela nécessite des bornes de fiabilité par instance et par cycle qui s'adaptent à l'état local du débat.

2. Méthodologie

La méthode proposée construit des bornes inférieures locales de confiance sur la probabilité de correction en utilisant une approche de $k$-plus proches voisins ($k$-NN) dans un espace métrique d'états de débat.

2.1 Représentation de l'État et Calibrage

• Représentation de l'État : À chaque cycle $t$, l'historique du débat (filtration $F_t$) est compressé en un état de faible dimension $U_t = \phi_t(F_t)$ dans un espace métrique $(\mathcal{U}, d)$. L'état par défaut consiste en la probabilité sociale dominante ($p^{(1)}_t$) et la marge ($\Delta_t$) entre les deux meilleures options.
• Calibrage : Un ensemble de données de calibrage $D_{cal}$ est utilisé où des débats complets sont exécutés. Pour chaque instance et chaque cycle, l'état $U_{i,t}$ et l'indicateur de correction $Z_{i,t}$ sont enregistrés. Les données sont divisées en un ensemble d'estimation du module $D_{mod}$ et un ensemble de recherche $D_{loc}$.

2.2 Construction de la Borne Inférieure

Pour une instance de test au cycle $t$ avec un état $U_t$, la méthode calcule une borne inférieure $L_t$ sur la correction locale $q_t(U_t) = \Pr(Y = \hat{Y}_t | U_t = u)$.

1. Recherche $k$-NN : Pour une famille de tailles de voisinage $K$, la méthode identifie les $k$ plus proches voisins dans $D_{loc}$.
2. Correction Biais-Variance : La moyenne empirique brute de la correction dans le voisinage est pénalisée par deux termes :
   • Enveloppe de Biais Local ($b_{t,k}$) : Une interface de branchement contrôlant l'erreur d'approximation au sein du voisinage. Le papier utilise un module empirique (ajusté via un GAM logistique sur $D_{mod}$) comme défaut, qui mesure la variation maximale d'un lisseur pilote dans un rayon donné.
   • Variance d'Échantillonnage : Un terme de concentration de Hoeffding $\sqrt{\frac{\log(T|K|/\delta)}{2k}}$.
3. Sélection Adaptative : La borne finale est le maximum sur tous les $k \in K$ :
   $$L_t = \max_{k \in K} \left[ \hat{q}_{t,k}(U_t) - b_{t,k}(U_t) - \sqrt{\frac{\log(T|K|/\delta)}{2k}} \right]$$
   Cela permet à chaque instance de sélectionner automatiquement le $k$ qui offre le meilleur compromis biais-variance.

2.3 Décomposition du Budget et Règle d'Arrêt

L'utilisateur spécifie un budget total d'actions erronées $\beta$. La méthode décompose ce budget en trois composantes :
$$\beta = \underbrace{\delta}_{\text{Échec de Calibrage}} + \underbrace{\alpha}_{\text{Risque d'Action Résiduel}} + \underbrace{\epsilon_{act}}_{\text{Écart de Représentation}}$$

• $\delta$ : Contrôle la probabilité que la borne inférieure $L_t$ dépasse la correction réelle (échec de calibrage).
• $\alpha$ : Le risque résiduel lorsque le système agit. Le seuil d'arrêt est fixé à $1 - \alpha$, où $\alpha = \beta - \delta - \epsilon_{act}$.
• $\epsilon_{act}$ : Une borne unilatérale sur l'« écart de représentation », rendant compte de l'information perdue lors de la compression de l'historique complet du débat $F_t$ en l'état $U_t$.

Règle d'Arrêt : Le système agit au cycle $\tau = \inf \{ t \le T : L_t \ge 1 - \alpha \}$. Si la borne n'est jamais atteinte avant le cycle $T$, l'instance est reportée à une révision humaine.

2.4 Déploiement de Risque Relatif

Pour gérer des tâches de difficultés variables, le papier introduit une politique de déploiement de risque relatif. Au lieu de fixer un $\beta$ absolu pour toutes les tâches, le budget est induit par l'erreur du cycle final ($\hat{e}_T$) de la tâche sur les données d'entraînement : $\beta_d = \lambda \cdot \hat{e}_T$. Le multiplicateur $\lambda$ est sélectionné sur l'ensemble d'entraînement pour maximiser l'automatisation tout en maintenant l'utilisation du budget normalisé ($WA/\beta$) en dessous d'une cible (par exemple, 0,10).

3. Contributions Clés

1. Formalisation de l'Arrêt Adaptatif : Le papier formalise l'arrêt de la délibération multi-agents comme un problème de contrôle de risque local conditionnel à l'état, avec une décomposition de budget à trois voies ($\beta = \delta + \alpha + \epsilon_{act}$).
2. Interface d'Enveloppe de Biais Local : Il introduit une enveloppe de biais locale générique et de type plug-in ($b_{t,k}(u)$) (avec Lipschitz, Hölder et le module empirique comme cas particuliers) pour contrôler l'erreur d'approximation locale, prouvant la validité simultanée des bornes inférieures.
3. Garanties Conditionnelles avec Hypothèses Explicites : Contra-rément aux méthodes sans distribution, la garantie est conditionnelle à des hypothèses locales auditables (validité de l'enveloppe de biais et écart de représentation de la zone d'action). Le coût de la violation des hypothèses est explicitement ajouté à la borne de risque via la Proposition 4.
4. Déploiement de Risque Relatif : La méthode convertit un budget d'actions erronées déclaré par l'utilisateur en un point opérationnel prospectivement auditable, en utilisant les données d'entraînement pour normaliser les budgets entre des tâches de difficultés différentes.
5. Validation Empirique : Des expériences sur six benchmarks (MMLU-Pro, LogiQA, ARC, BBH, MuSR, GPQA) contre neuf bases de référence démontrent que la méthode n'utilise que 9 à 12 % du budget pré-déclaré sur les ensembles de données activés, tout en atteignant une automatisation élevée (jusqu'à 84 %) et une précision sur les actions (jusqu'à 96 %). Sur les jeux de données de test de stress (GPQA, MuSR), la méthode reporte correctement plutôt que de forcer une automatisation non fiable.

4. Résultats

• Ensembles de Données Activés : Sur MMLU-Pro, BBH, LogiQA et ARC, la méthode atteint des taux d'automatisation compris entre 28 % et 84 % avec des précisions sur les actions de 89 % à 97 %. Crucialement, le taux d'actions erronées ($WA$) ne consomme que 9 à 12 % du budget pré-déclaré ($WA/\beta \in [0,09, 0,12]$).
• Ensembles de Données de Test de Stress : Sur GPQA et MuSR (caractérisés par de petits échantillons et une erreur de base élevée), les budgets induits sont importants, mais la méthode reporte la plupart des instances (0 % – 53 % d'automatisation) car les bornes inférieures locales ne franchissent pas le seuil. Cela est présenté comme un comportement intentionnel pour éviter une automatisation peu fiable.
• Comparaison avec les Bases de Référence :
  • Bases de Référence de Contrôle de Risque (CRC, Sélection Sélective) : Ces méthodes atteignent une automatisation proche de 100 %, mais consomment 18 à 82 % du même budget, indiquant qu'elles ne peuvent pas convertir un budget déclaré en un niveau d'automatisation spécifique sans ajustement par tâche.
  • Comparaison d'Automatisation Appariée : Lorsque les bases de référence sont ajustées a posteriori pour correspondre au taux d'automatisation de la méthode proposée, leur précision sur les actions et leur utilisation du budget sont statistiquement indiscernables. Le papier soutient que la valeur de la méthode proposée réside dans la construction prospective d'une politique à partir d'un budget déclaré sans recherche de seuil par tâche.
• Études Ablatives : Supprimer l'enveloppe de biais ($b_{t,k}$) entraîne une augmentation de 2 à 3 fois l'utilisation du budget. Utiliser uniquement le cycle final (sans arrêt adaptatif) élimt les économies liées à l'arrêt précoce.

5. Signification et Revendications

Le papier affirme que sa contribution principale n'est pas d'atteindre une qualité de sous-ensemble supérieure aux seuils scalaires ajustés (qu'elle égale dans les tests d'automatisation appariée), mais de fournir un cadre prospectif et auditable pour convertir un budget d'actions erronées déclaré par l'utilisateur en une politique d'action ou de report.

• Hypothèses Explicites : La méthode expose les hypothèses structurelles requises pour la garantie (lissage local via l'enveloppe de biais et écart de représentation) et les associe à des proxys de diagnostic (par exemple, inflation du module, vérifications de l'écart du prédicteur) pour infirmer des représentations insuffisantes.
• Dégradation Gracieuse : La garantie se dégrade gracieusement ; si les hypothèses sont violées, la probabilité d'échec est explicitement ajoutée à la borne de risque plutôt que de provoquer un échec catastrophique de la garantie.
• Modèle pour le Calcul au Moment de l'Inférence : Les auteurs considèrent cela comme un modèle pour d'autres pipelines de calcul au moment de l'inférence où l'action autonome répétée est peu coûteuse, mais où les actions erronées occasionnelles sont coûteuses.

Le papier déclare explicitement qu'il ne fournit pas de correction conditionnelle sans distribution. Au lieu de cela, il offre un cadre de décomposition du risque qui rend explicite le coût des hypothèses locales, permettant un déploiement auditable sous conditions énoncées.