From Argument Components to Graphs: A Multi-Agent Debate with Confidence Gating for Argument Relations

Résumé technique : Des composants d'argument aux graphes : un débat multi-agents avec filtrage par confiance pour les relations d'argumentation

Énoncé du problème
L'extraction d'arguments (Argument Mining - AM) vise à extraire et identifier les structures argumentatives, en allant au-delà de la simple détection de composants (ex: Prétentions, Prémisses) pour cartographier les liens relationnels entre eux. Le défi central abordé dans ce travail est l'Identification et la Classification des Relations d'Argument (ARIC), qui consiste à déterminer si un lien dirigé existe entre deux composants textuels et à le classer comme Soutien (Support), Attaque (Attack) ou Aucun (None).

Bien que les modèles de langage de grande taille (LLM) aient montré des promesses en AM, les modèles standards sans entraînement (training-free) peinent souvent face à la nature relationnelle de cette tâche. Plus précisément, ils sont sujets à des « hallucinations » de liens logiques qui n'existent pas dans le texte. Les mécanismes d'auto-correction à agent unique échouent souvent à résoudre ce problème en raison d'un comportement « sycophante », où les modèles renforcent leurs erreurs initiales plutôt que de les réviser. De plus, les approches de réglage fin supervisé (supervised fine-tuning), bien qu'elles soient à l'état de l'art dans de nombreux domaines, souffrent considérablement du déséquilibre des classes (particulièrement la rareté des exemples d'Attaque) et manquent d'interprétabilité concernant les prédictions individuelles.

Méthodologie
Les auteurs étendent un cadre de débat multi-agents, précédemment utilisé pour la classification de composants, à la tâche plus complexe de l'ARIC. Le système proposé reformule la classification de relations comme un débat structuré sur des paires de composants d'argument.

1. Architecture des agents : Le cadre utilise quatre rôles :

   • Manager (Gestionnaire) : Estime les probabilités de labels initiaux pour une paire de composants.
   • Proponent (Promoteur) et Opponent (Opposant) : S'engagent dans un débat dialectique. L'un plaide pour la présence d'une relation spécifique (Soutien ou Attaque), tandis que l'autre plaide pour une alternative (incluant Aucun). Ils sont chargés d'exposer les liens hallucinés en exigeant des preuves textuelles.
   • Judge (Juge) : Évalue l'intégralité de la transcription du débat pour rendre un verdict final, avec l'instruction explicite de pénaliser les sauts logiques non étayés.

2. Mécanisme de filtrage par confiance (Confidence Gating) : Un ajout novateur au cadre est un mécanisme de filtrage par confiance. Le Manager évalue d'abord la probabilité du label principal. Si la confiance dépasse un seuil ($\tau$), le débat est sauté et la prédiction initiale est acceptée. Le débat n'est déclenché que pour les cas incertains. Cela vise à réduire les coûts de calcul et à éviter la dégradation des performances sur les échantillons à haute confiance où le débat pourrait introduire un doute inutile.

3. Configuration expérimentale : Le système a été évalué sur le corpus UKP Argument Annotated Essays v2. Le cadre a été comparé à :

   • Des bases à agent unique : Prompting classique (Vanilla), Chaîne de pensée (CoT), et « Raisonnement intelligent » (Smart Reasoning, utilisant un modèle plus performant sans débat).
   • Des bases supervisées : Modèles RoBERTa-base et RoBERTa-large ayant subi un réglage fin.

Résultats clés
Les expériences ont produit plusieurs conclusions critiques concernant l'efficacité du débat multi-agents pour les tâches relationnelles :

• Bénéfice conditionnel du débat : Un débat indiscriminé sur tous les échantillons (Full Debate) a abouti à un Macro F1 de 0,561, ce qui est inférieur à la base la plus forte du single-agent (Smart Reasoning à 0,578). Le processus de débat a corrigé 249 prédictions mais en a dégradé 236 autres, résultant en un bénéfice net proche de zéro.
• Succès du filtrage par confiance : Lorsqu'il est combiné au filtrage par confiance (spécifiquement à $\tau = 0,70$), le cadre a atteint le Macro F1 le plus élevé de 0,585 parmi toutes les méthodes sans entraînement. Cette configuration n'a débattu que 14 % des échantillons (332 sur 2 407), concentrant l'effort de calcul sur les cas les plus incertains.
• Performance vs Modèles supervisés : Toutes les approches génératives (inférence seule) ont surpassé les modèles RoBERTa supervisés sur le Macro F1. Les modèles supervisés ont lutté de manière significative avec la classe Attaque (scores F1 de 0,071 et 0,167 pour RoBERTa-base et large, respectivement) en raison de la rareté des instances d'entraînement (160 paires). En revanche, les modèles génératifs ont exploité les connaissances linguistiques générales pour gérer cette classe minoritaire plus efficacement.
• Interprétabilité : Contrairement à l'inférence à passage unique ou aux classifieurs « boîte noire », le cadre produit des transcriptions de débats lisibles par l'humain qui exposent le raisonnement derrière chaque prédiction.

Signification et affirmations
L'article soutient que, bien que le débat multi-agents soit un paradigme puissant, son application au raisonnement relationnel est conditionnelle. Les auteurs affirment que :

1. Le débat n'est pas une solution universelle : Appliquer le débat de manière indiscriminée peut dégrader les performances en introduisant du doute dans des cas où le modèle était déjà correct.
2. Une intervention ciblée est requise : Le mécanisme de filtrage par confiance sert d'intervention architecturale nécessaire pour rendre le débat efficace, en restreignant le raffinement dialectique aux cas de véritable incertitude.
3. Viabilité sans entraînement : Dans les scénarios à faibles ressources ou hautement déséquilibrés (comme la classe Attaque en extraction d'arguments), les approches génératives sans entraînement avec filtrage par confiance peuvent surpasser le réglage fin supervisé, offrant une alternative pratique là où les données annotées sont rares.
4. Interprétabilité : Le cadre offre un degré d'interprétabilité grâce aux transcriptions de débats, ce qui fait défaut aux classifieurs standards à agent unique ou supervisés.

L'étude conclut que, bien que la marge d'amélioration par rapport à la base la plus forte soit modeste, le cadre démontre une voie viable vers une classification de relations d'argument sans entraînement qui équilibre performance, efficacité computationnelle et interprétabilité.