More Agents Improve Math Problem Solving but Adversarial Robustness Gap Persists

1. Problématique et Contexte

Les modèles de langage (LLM) ont fait des progrès remarquables dans le raisonnement mathématique. Une tendance récente consiste à utiliser des systèmes multi-agents (où plusieurs instances de LLM collaborent via des stratégies d'échantillonnage et de vote) pour améliorer la précision par rapport à un modèle unique.

Cependant, une vulnérabilité majeure des LLM réside dans leur fragilité face aux entrées perturbées (bruit, fautes de frappe, ponctuation aléatoire). La question centrale de cet article est la suivante : L'ajout de plus d'agents dans un système collaboratif améliore-t-il non seulement la précision sur des données propres, mais aussi la robustesse face à des perturbations adverses ?

Les auteurs cherchent à combler le manque d'études systématiques sur l'intersection entre la collaboration multi-agents et la robustesse aux bruits d'entrée.

2. Méthodologie

2.1. Cadre Expérimental : « Agent Forest »

Les auteurs utilisent un cadre unifié appelé Agent Forest, basé sur une stratégie simple d'échantillonnage et de vote majoritaire :

• Pour chaque question, le même modèle de base est interrogé $N$ fois avec des graines aléatoires différentes.
• Chaque appel agit comme un agent indépendant produisant une réponse candidate.
• Les réponses sont normalisées (extraction de la valeur numérique) et agrégées par vote majoritaire pour déterminer la réponse finale.
• Le nombre d'agents ($n$) varie de 1 à 25 (et jusqu'à 50 dans des études préliminaires).

2.2. Jeux de Données et Modèles

• Benchmarks : Quatre ensembles de données mathématiques couvrant différents niveaux de difficulté :
  • GSM8K (problèmes de mots de l'école primaire).
  • MATH (compétitions mathématiques avancées).
  • MMLU-Math (sous-ensemble de questions à choix multiples).
  • MultiArith (opérations arithmétiques composées).
• Modèles : Six modèles open-source de tailles variées (de 4B à 14B de paramètres) : Qwen3, Llama 3.1, Mistral et Gemma 3.

2.3. Types de Perturbations (Bruit)

Les auteurs introduisent une taxonomie de bruit pour évaluer la robustesse :

1. Bruit de ponctuation synthétique (Punct) : Insertion aléatoire de symboles (., ,, !, etc.) à trois intensités : 10 %, 30 % et 50 % de la longueur de la question.
2. Bruit humain-like (Typos) :
   • WikiTypo : Remplacement de mots par des fautes de frappe réelles extraites des historiques d'édition de Wikipédia.
   • R2ATA (Adversarial Typo Attack) : Fautes de frappe générées de manière itérative pour cibler les mots clés de la requête, simulant des erreurs de clavier courantes.

2.4. Métriques

• Précision (Accuracy) : Pourcentage de réponses correctes.
• Taux de Succès de l'Attaque (ASR - Attack Success Rate) : Mesure la fraction des réponses initialement correctes (en condition propre) qui deviennent incorrectes après l'ajout du bruit. Un ASR plus bas indique une meilleure robustesse.

3. Résultats Clés

3.1. Impact du nombre d'agents sur la précision

• Amélioration monotone : Augmenter le nombre d'agents améliore systématiquement la précision sur toutes les conditions de bruit.
• Loi des rendements décroissants : Le gain le plus important se situe entre $n=1$ et $n=5$. Au-delà de $n \approx 10$, les gains supplémentaires deviennent marginaux.
• Convergence : La précision se stabilise vers un état stationnaire (vers $n=25$), justifiant l'arrêt de l'analyse à ce seuil pour l'évaluation principale.

3.2. Persistance de l'écart de robustesse (Le résultat principal)

Bien que la précision absolue augmente avec le nombre d'agents, l'écart de robustesse par rapport à la condition propre (Clean) persiste.

• ASR stable : Le taux de succès de l'attaque (ASR) reste presque constant, voire légèrement stable, quelle que soit l'augmentation du nombre d'agents.
• Conclusion paradoxale : Le vote majoritaire corrige les erreurs aléatoires (variance), mais il échoue à corriger les biais systématiques introduits par le bruit. Tous les agents tendent à faire la même erreur logique face à une perturbation spécifique, rendant le consensus inefficace pour restaurer la robustesse.

3.3. Nature du bruit : Le facteur déterminant

La nature de la perturbation est plus critique que le nombre d'agents :

• Bruit de ponctuation : Il dégrade la performance proportionnellement à son intensité, mais est largement neutralisé par la collaboration (5 à 10 agents suffisent à récupérer une grande partie de la précision perdue).
• Fautes de frappe humaines (WikiTypo) : C'est le goulot d'étranglement dominant. Même avec 25 agents, l'ASR reste élevé (> 0,10). Les fautes de frappe altèrent la représentation sémantique dans l'espace d'embedding, ce que le vote majoritaire ne peut pas réparer.
• R2ATA : Se situe entre les deux, causant des dommages initiaux importants pour un agent unique, mais partiellement atténués par la collaboration.

3.4. Influence des modèles et des tâches

• Taille du modèle : Les modèles plus grands (ex: Qwen3-14B, Gemma3-12B) maintiennent une précision absolue plus élevée, mais la tendance de persistance de l'écart de robustesse s'applique à toutes les tailles.
• Difficulté de la tâche : Les ensembles de données complexes (MATH, MMLU) montrent des ASR plus élevés et une récupération incomplète même avec beaucoup d'agents, tandis que les tâches simples (MultiArith, GSM8K) bénéficient davantage de la collaboration.

4. Contributions et Signification

4.1. Contributions Principales

1. Évaluation systématique : Première étude large examinant la robustesse des systèmes multi-agents LLM face à des perturbations mathématiques réalistes et synthétiques.
2. Découverte de l'écart de robustesse : Démonstration que l'augmentation du nombre d'agents (scaling) n'est pas une solution miracle pour la sécurité ou la robustesse aux attaques adverses.
3. Analyse des mécanismes de défaillance : Identification que le bruit sémantique (typos) crée des biais systématiques que le vote majoritaire ne peut pas corriger, contrairement au bruit morphologique (ponctuation).

4.2. Implications et Signification

• Limites du "Scaling" : L'article met en garde contre l'idée que "plus d'agents" équivaut à "plus de fiabilité". Pour des déploiements critiques (médical, financier, juridique), la simple augmentation du nombre d'instances ne suffit pas à garantir la résilience face à des données bruitées.
• Nécessité de nouvelles approches : Les auteurs suggèrent que la solution ne réside pas dans l'architecture de vote, mais dans :
  • L'amélioration de la robustesse intrinsèque des modèles de base (tokenization résistante au bruit).
  • L'utilisation d'agents vérificateurs ou d'outils externes.
  • L'augmentation des données d'entraînement avec des fautes de frappe humaines.
• Sécurité : La persistance de l'écart de robustesse soulève des préoccupations éthiques pour l'utilisation des agents LLM dans des environnements où les données d'entrée sont naturellement bruitées (saisie humaine).

Conclusion

L'article conclut que si la collaboration multi-agents est un outil puissant pour améliorer la précision sur des données propres ou légèrement bruitées, elle échoue à combler l'écart de robustesse face à des perturbations sémantiques complexes comme les fautes de frappe humaines. Cela indique une limitation fondamentale actuelle dans la façon dont les LLM traitent les orthographes non standard, nécessitant des améliorations au niveau du modèle de base plutôt que de l'agrégation des sorties.