Résumé Technique : AMATA – Alignement Adaptatif des Trajectoires Multi-Agents pour la Réponse à des Questions Riches en Connaissances

1. Énoncé du Problème

Malgré des avancées significatives des Modèles de Langage de Grande Taille (LLM), la génération de réponses factuellement cohérentes pour des questions riches en connaissances (QA) reste un défi. Les modèles actuels peinent avec les hallucinations et les limitations dans le comblement des lacunes de connaissances à longue traîne. Bien que la Génération Augmentée par la Récupération (RAG) offre une stratégie d'atténuation en accédant à des connaissances externes, elle souffre d'imprécisions dans la récupération et d'une latence d'inférence accrue due à des contextes plus longs.

Les approches multi-agents existantes pour la QA riche en connaissances relèvent généralement de trois paradigmes, chacun présentant des limitations distinctes :

1. Entraînement Modulaire : Affine les agents indépendamment sur des sous-tâches. Cela manque d'optimisation globale, entraînant une propagation d'erreurs et une incapacité à compenser les dépendances inter-agents.
2. Entraînement de Bout en Bout : Optimise conjointement tous les agents au sein d'un cadre unique. Bien que cela permette une co-adaptation, les mises à jour de gradient uniformes obscurcissent souvent les demandes de spécialisation distinctes des agents hétérogènes, provoquant une sur-homogénéisation.
3. Entraînement Global-Local : Combine l'optimisation indépendante des sous-tâches avec un affinage conjoint. Cependant, ces méthodes échouent souvent à capturer les dépendances inter-agents dynamiques, qui sont cruciales pour des tâches diverses (par exemple, des étapes de vérification inutiles pour des questions à haute confiance, ou des séquences d'exécution rigides ignorant le contexte).

Le problème central abordé est l'absence d'un cadre capable d'aligner dynamiquement la participation des agents en fonction des exigences spécifiques de la question, tout en modélisant les dépendances complexes et dépendantes du contexte entre les agents pour améliorer à la fois les performances de raisonnement et l'efficacité des tokens.

2. Méthodologie : Cadre AMATA

Les auteurs proposent AMATA (Alignement Adaptatif des Trajectoires Multi-Agents), un cadre conçu pour améliorer l'alignement au niveau des agents et capturer les dépendances inter-agents dynamiques. Le système utilise six agents spécialisés : Reconstructeur d'Intention, Récupérateur de Connaissances, Filtre de Connaissances, Localisateur de Connaissances, Générateur de Réponses et Vérificateur de Réponses.

La méthodologie repose sur deux innovations principales :

A. Apprentissage de Préférence Intra-Trajectoire

Les approches existantes traitent souvent tous les agents comme uniformément pertinents. AMATA introduit un mécanisme pour optimiser dynamiquement la participation des agents pour chaque question spécifique.

• Mécanisme : Le système apprend des distributions de préférence d'agents spécifiques à la question. Pour chaque paire agent-question, un score de préférence (par exemple, <Récupérateur : 5> vs <Vérificateur : 1>) est attribué en fonction de l'utilité de l'agent pour l'entrée actuelle.
• Implémentation : Ces scores sont concaténés avec les descriptions d'agents comme préfixe et appariés à la question pour l'affinage. Cela permet à un modèle monolithique de capturer des compétences d'agents hétérogènes grâce à un Affinage Supervisé (SFT) augmenté d'un score de préfixe adaptatif, plutôt que d'exiger des ensembles de données séparés pour chaque agent.
• Objectif : Prioriser les agents critiques (par exemple, les outils de connaissances pour les requêtes complexes) et supprimer les agents redondants (par exemple, les vérificateurs pour des réponses à haute confiance), réduisant ainsi la consommation de tokens.

B. Apprentissage de Dépendance Inter-Agents

Les systèmes multi-agents présentent des dépendances dépendantes du contexte où le déclenchement d'un agent pivot nécessite l'exécution coordonnée d'agents liés.

• Mécanisme : Les auteurs introduisent un module Optimisation Directe de Préférence Sensible aux Dépendances (DA-DPO). Contrairement au DPO standard qui compare des paires gagnantes/perdantes uniques, le DA-DPO apprend des classements d'exécution sensibles au contexte.
• Implémentation :
  • Des échantillons de préférence sont construits pour encoder explicitement les dépendances inter-agents.
  • Les trajectoires sont annotées avec un score de préférence conjoint reflétant l'optimalité globale de la séquence multi-agents.
  • L'algorithme sélectionne les $K$ meilleurs échantillons gagnants basés sur la « bonté de dépendance » (la corrélation entre les scores d'agents et les résultats réussis) et traite les échantillons restants comme des exemples perdants.
  • Un modèle de préférence Plackett-Luce listwise est utilisé pour optimiser la politique, priorisant les trajectoires avec une coordination inter-agent robuste.
• Objectif : Permettre au LLM d'inférer des séquences d'exécution multi-agents optimales avec une haute fiabilité, garantissant que les agents dépendants (par exemple, Récupérateur $\rightarrow$ Filtre $\rightarrow$ Localisateur) sont exécutés de manière cohérente et sensible aux dépendances.

Pipeline d'Entraînement

Le cadre subit un processus d'entraînement en deux étapes :

1. Apprentissage Intra-Trajectoire : Optimise le modèle pour percevoir l'utilité de l'agent via le mécanisme de préfixe de préférence ($L_{Intra}$).
2. Apprentissage de Dépendance Inter-Agents : Combine la perte de prédiction d'agent de base avec la perte DA-DPO ($L_{Inter}$) pour améliorer la coopération multi-agents ($L_{total} = \alpha_1 L(T) + \alpha_2 L_{Inter}$).

3. Contributions Clés

1. Personnalisation Adaptative des Agents : Une approche novatrice pour moduler dynamiquement l'influence des agents en fonction de la complexité de la question, s'éloignant des flux de travail statiques ou de la pertinence uniforme des agents.
2. Optimisation Sensible aux Dépendances : L'introduction du DA-DPO, qui capture les dépendances d'outils inter-agents et apprend les classements d'exécution relatifs, abordant les problèmes de « propagation d'erreurs » et de « séquençage rigide » dans les systèmes multi-agents précédents.
3. Efficacité et Performance : Un cadre qui atteint des performances de raisonnement élevées tout en réduisant considérablement la surcharge de tokens en sautant dynamiquement les agents inutiles (par exemple, les vérificateurs) et en optimisant le chemin d'exécution.

4. Résultats Expérimentaux

AMATA a été évalué sur cinq benchmarks établis de QA riche en connaissances : HealthQA, ARC-Choice, PopQA, SQuAD 1.1 et ASQA.

• Performance : AMATA a constamment surpassé les approches de base, y compris les méthodes QA classiques, les cadres augmentés de connaissances (par exemple, Self-RAG, RADIT) et les systèmes de trajectoire basés sur LLM (par exemple, SMART, GiGPO, SPA-RL). Il a réalisé une amélioration de performance moyenne de +4,02 % sur toutes les tâches.
• Efficacité : La méthode a réduit la surcharge de consommation de tokens d'environ 70 % par rapport aux bases solides. Cela est attribué à l'apprentissage de préférence adaptatif qui évite d'invoquer des agents inutiles.
• Études d'Ablation : La suppression de la perte de dépendance inter-agent ($L_{Inter}$) a entraîné le déclin de performance le plus abrupt, confirmant l'importance de la modélisation des associations d'agents. De même, la suppression d'agents spécifiques (comme le Filtre ou le Vérificateur) a dégradé les performances, validant la nécessité de l'ensemble complet d'agents et de leurs rôles spécifiques.
• Analyse des Tokens : Comparé aux bases global-local comme SMART, AMATA a maintenu une surcharge de tokens comparable mais l'a nettement surpassé en précision. Les méthodes basées sur RL (par exemple, GiGPO) ont montré une consommation de tokens plus élevée (+70 %) en raison de multiples sessions de déploiement.

5. Signification et Revendications

L'article revendique qu'AMATA représente une avancée significative dans la QA multi-agents en passant d'interactions d'agents statiques ou uniformément optimisées à un alignement de trajectoire adaptatif et sensible aux dépendances.

• Adaptation Dynamique : Le cadre démontre avec succès que les questions à haute confiance ne nécessitent pas d'étapes de vérification, et que les questions de connaissances complexes nécessitent des chaînes spécifiques d'agents de connaissances. AMATA apprend ces dynamiques automatiquement.
• Évolutivité et Efficacité : En réduisant la consommation de tokens d'environ 70 % sans sacrifier la précision, la méthode adresse les barrières de coûts pratiques du déploiement de systèmes multi-agents complexes.
• Généralisation : Les auteurs notent que le cadre fonctionne comme un système zero-shot et auto-adaptatif à l'inférence, ne nécessitant aucune trace d'entraînement préexistante pour de nouveaux domaines une fois la « politique de collaboration » apprise.

Les auteurs maintiennent une modestie concernant les limitations, reconnaissant que les expériences ont été principalement menées sur des modèles de 7 milliards de paramètres et que le nombre d'échantillons gagnants/perdants pour le DPO était limité. Ils suggèrent que le passage à l'échelle vers des modèles plus grands (par exemple, 70 milliards) et l'augmentation de la diversité des échantillons pourraient encore améliorer les performances sur des tâches complexes.