Résumé technique : Apprentissage neurosymbolique pour l'argumentation au moment de l'inférence

Énoncé du problème

La vérification d'affirmations est une tâche critique dans des domaines à haut risque tels que la santé, la finance et la découverte scientifique. Bien que les grands modèles de langage (LLM) aient montré des promesses dans ce domaine, la classification binaire standard (Vrai/Faux) est souvent insuffisante lorsque les informations sous-jacentes sont incomplètes ou contradictoires. Dans de tels cas, un verdict « Incertain » est plus approprié qu'une décision binaire forcée. De plus, dans des contextes à haut risque, les explications de ces verdicts doivent être fidèles — c'est-à-dire que le processus de raisonnement doit refléter véritablement les facteurs déterminant la décision finale, plutôt que de reposer sur des rationalisations a posteriori qui peuvent être infidèles à la logique interne du modèle.

Les approches existantes traitent souvent l'argumentation comme une couche d'explication au moment de l'inférence ou s'appuient sur des LLM prêts à l'emploi pour générer des arguments sans les optimiser pour la tâche de vérification spécifique. De plus, de nombreuses approches d'apprentissage par renforcement (RL) pour le raisonnement se concentrent sur des tâches aux résultats vérifiables et déterministes (par exemple, les mathématiques), échouant à traiter l'incertitude inhérente à la vérification d'affirmations où les résultats peuvent être ambigus.

Méthodologie : Argumentation au moment de l'inférence (ITA)

Les auteurs introduisent l'Argumentation au moment de l'inférence (ITA), un cadre neurosymbolique entraînable conçu pour la vérification ternaire d'affirmations (Vrai, Faux, Incertain). Contrairement aux méthodes précédentes qui utilisent l'argumentation uniquement pour l'explication, l'ITA intègre directement la sémantique formelle de l'argumentation dans la boucle d'entraînement pour guider à la fois la génération et le score des arguments.

Cadre principal

Le système fonctionne sur des Cadres d'Argumentation Bipolaire Quantitatifs (QBAF) :

1. Génération d'arguments : Un LLM (paramétré par $\theta$) génère un ensemble d'arguments de soutien ($S_c$) et d'attaques ($T_c$) pour une affirmation donnée $c$. L'affirmation elle-même est traitée comme un argument $a_c$.
2. Attribution du score de base : Un Modèle de Score de Base (BSM) apprenable (paramétré par $\phi$) attribue une force intrinsèque (score de base) $\tau(a) \in [0, 1]$ à chaque argument généré. Le score de base de l'affirmation est fixé à une prior neutre de 0,5.
3. Agrégation sémantique : Une fonction de sémantique d'argumentation déterministe, DF-QuAD, agrège les scores de base et les relations de soutien/attaque pour calculer une force argumentative finale $\hat{v}_c = \sigma(a_c)$ pour l'affirmation.
4. Dérivation du verdict : La force finale est mappée vers un verdict ternaire en utilisant des seuils fixes :
   • Faux : $\hat{v}_c \leq 1/3$
   • Vrai : $\hat{v}_c \geq 2/3$
   • Incertain : $1/3 < \hat{v}_c < 2/3$

Stratégies d'entraînement

L'ITA emploie deux phases d'entraînement distinctes pour optimiser les composants :

1. Apprentissage faiblement supervisé pour les scores de base (BSM) :

   • Phase d'amorçage : La tête de régression du BSM est initialisée par apprentissage supervisé sur des triplets (affirmation, argument, score de base), où les scores sont générés en sollicitant un LLM de base.
   • Phase de perte sémantique : Le BSM est affiné en utilisant une fonction de perte neurosymbolique. La perte est l'erreur quadratique moyenne (MSE) entre la force d'affirmation prédite (dérivée via DF-QuAD) et l'étiquette de vérité terrain (mappée à 0, 0,5 ou 1). Puisque DF-QuAD est différentiable, les gradients peuvent être rétropropagés à travers la sémantique pour mettre à jour le BSM.
   • Pertes auxiliaires : Pour améliorer les propriétés locales, les auteurs introduisent une Perte de Cohérence (minimisant la variance pour les arguments sémantiquement équivalents) et une Perte de Classement (imposant un ordre prédéfini de qualité des arguments).

2. Apprentissage par renforcement pour la génération d'arguments :

   • Le générateur d'arguments est optimisé en utilisant l'Optimisation de Politique Relative par Groupes (GRPO).
   • Fonction de récompense : La récompense est dérivée de la force finale de l'affirmation $\hat{v}_c$ produite par le BSM et DF-QuAD. Elle fournit une récompense maximale pour les forces tombant dans l'intervalle de classification correct (par exemple, une force élevée pour les étiquettes « Vrai ») et des récompenses diminuant linéairement à mesure que la force s'éloigne du seuil correct. Cela transforme la sémantique de l'argumentation en un signal d'entraînement, encourageant le générateur à produire des arguments menant à des verdicts corrects.

Contributions clés

1. Cadre neurosymbolique entraînable : L'introduction de l'ITA, qui étend le rôle de l'argumentation d'une couche d'explication statique au moment de l'inférence à une interface d'apprentissage dynamique où la sémantique guide l'entraînement du modèle.
2. Stratégies d'optimisation : La proposition de deux stratégies d'entraînement novatrices :
   • L'apprentissage des scores de base via les verdicts argumentatifs en aval plutôt que de se fier uniquement aux scores statiques des LLM.
   • L'utilisation de la sémantique formelle de l'argumentation pour générer des récompenses pour l'apprentissage par renforcement, optimisant la génération d'arguments pour la tâche spécifique de vérification d'affirmations.
3. Explicabilité fidèle : Par construction, le verdict final est une fonction déterministe des arguments générés, de leurs scores appris et de la sémantique. Cela garantit que l'explication est fidèle au processus de décision, évitant les pièges des traces de raisonnement a posteriori.

Résultats expérimentaux

Les auteurs ont évalué l'ITA sur deux jeux de données de vérification ternaire d'affirmations : TFU Evaluation Claims (dérivé de StrategyClaim et DEBATunE) et AVeriTeC (affirmations du monde réel). Ils ont comparé l'ITA à des baselines non argumentatives (prédiction directe via SFT et GRPO) et à des baselines argumentatives (utilisant des LLM prêts à l'emploi pour les arguments et les scores).

• Performance :

  • Modèles de score de base : Les BSM appris ont considérablement surpassé les baselines argumentatives utilisant des scores constants ou sollicités. Le BSM le plus performant (entraîné sur des arguments générés par GPT-5 avec des pertes sémantiques, de classement et de cohérence) a atteint une précision de 0,677 sur TFU et une précision équilibrée de 0,460 sur AVeriTeC, surpassant toutes les baselines fidèlement explicables et rivalisant avec les baselines de prédiction directe les plus fortes.
  • Générateurs d'arguments : L'entraînement du générateur d'arguments via GRPO a produit des résultats mitigés mais positifs, montrant de légères améliorations par rapport aux générateurs non entraînés lorsqu'ils sont associés à des scores sollicités, bien que les gains aient été moins cohérents que ceux obtenus en entraînant le BSM.
  • Combinaison : La combinaison d'un générateur entraîné avec un BSM entraîné n'a pas produit d'améliorations additives par rapport au meilleur BSM seul, suggérant que le scoreur est calibré sur une distribution d'arguments spécifique.

• Propriétés locales : L'entraînement avec des pertes auxiliaires a considérablement amélioré la cohérence des scores pour les arguments paraphrasés et le classement des arguments par qualité, démontrant que le cadre peut apprendre des propriétés locales souhaitables au-delà de la simple précision en aval.

Importance et affirmations

L'article affirme que l'ITA démontre que la sémantique formelle de l'argumentation peut servir de signal d'entraînement utile pour les LLM, et pas seulement comme une règle d'agrégation au moment de l'inférence. En intégrant l'argumentation dans la boucle d'entraînement, le système atteint des performances compétitives avec les méthodes de prédiction directe tout en maintenant une fidélité procédurale — le verdict est explicitement dérivé de structures argumentatives inspectables.

Les auteurs positionnent ce travail comme une étape vers une IA plus transparente et fiable dans les domaines à haut risque, où la capacité d'expliquer pourquoi une affirmation est incertaine ou fausse est aussi importante que la classification elle-même. Ils reconnaissent des limites, notamment l'absence de récupération de preuves externes (les arguments sont générés à partir des connaissances du modèle) et la restriction aux cadres d'argumentation de profondeur 1, notant ces aspects comme des pistes pour des travaux futurs.