Résumé Technique : DECOMPOSERL

Énoncé du Problème

La vérification automatisée des affirmations fait face à un compromis fondamental entre précision et interprétabilité. Les approches actuelles relèvent généralement de deux catégories :

1. Classificateurs de bout en bout : Ils atteignent une haute précision sur les benchmarks mais fonctionnent comme des « boîtes noires », émettant un verdict sans fournir de traces inspectables de comment la conclusion a été atteinte. Cette opacité pose problème dans des domaines à haut risque comme le triage biomédical, la vérification des faits politiques et l'examen par les pairs scientifique, où les utilisateurs nécessitent une visibilité sur les parties de l'affirmation vérifiées et les raisons de cette vérification.
2. Méthodes basées sur la décomposition : Elles décomposent les affirmations en sous-questions atomiques pour générer des traces inspectables. Cependant, elles traînent souvent derrière les classificateurs de bout en bout en termes de performance. Les méthodes de décomposition existantes reposent sur un prompting fragile ou un apprentissage par imitation coûteux (ajustement fin sur des décompositions de référence) sans signal d'entraînement mesurant l'adéquation réelle de la décomposition pour la tâche de vérification.

Méthodologie

Les auteurs proposent DECOMPOSERL, un cadre d'apprentissage par renforcement (RL) qui entraîne une politique à décomposer les affirmations en questions utiles, informatives et diversifiées, produisant à la fois une haute précision et des traces auditable.

1. Entonnoir de Curation des Données

Pour répondre au coût prohibitif de l'entraînement de politiques RL sur de grands corpus bruyants, les auteurs ont conçu un entonnoir de curation de données multi-étapes. Partant d'environ 155 000 affirmations réparties sur 14 corpus hétérogènes, ils ont distillé un sous-ensemble compact et dense en signaux d'apprentissage de 5 464 affirmations (~4 % des données originales). Les étapes de filtrage incluent :

• Filtrage basé sur des règles : Suppression des affirmations ayant une longueur de preuve insuffisante, un recouvrement lexical trivial, ou moins de deux entités nommées.
• Filtrage basé sur la difficulté : Utilisation d'un vérificateur MiniCheck-7B pour ne conserver que les affirmations où le modèle est incertain (confiance $0.3 \le p \le 0.8$), garantissant que les données d'entraînement contiennent des défis de raisonnement non triviaux.
• Déduplication et Décontamination : Suppression des quasi-doublons via MinHash et similarité cosinus pour prévenir les fuites de données et assurer la diversité.
• Décomposition « Argent » : Génération de décompositions « argent » (pseudo-étiquetées) utilisant GPT-5-mini pour les affirmations restantes.
• Sélection de Diversité : Utilisation d'un objectif de localisation d'équipement (maximisation submodulaire) pour sélectionner un sous-ensemble final maximisant la couverture de l'espace d'incorporation, garantissant que l'ensemble d'entraînement représente la distribution complète des types d'affirmations.
• Augmentation par Preuve Longue : Ajout d'affirmations avec des contextes de preuve longs pour prévenir le décalage de distribution lors de l'évaluation.

2. Cadre d'Apprentissage par Renforcement

DECOMPOSERL formule la vérification d'affirmations comme un problème itératif de décomposition Question-Réponse (QA). La politique ($\pi_\theta$), basée sur Qwen2.5-7B-Instruct, génère une trace structurée composée d'une analyse initiale, de $n$ cycles question-réponse, et d'un verdict final (SOUTENU ou RÉFUTÉ).

La politique est entraînée à l'aide de l'Optimisation de Politique Relative par Groupes (GRPO) avec un nouvel ensemble de récompenses multi-facettes. Contrairement aux travaux antérieurs qui reposent sur une seule récompense de résultat, DECOMPOSERL optimise sept signaux complémentaires :

1. Format ($R_{fmt}$) : Assure le respect du schéma de sortie structuré basé sur XML.
2. Vérification ($R_{ver}$) : Ancrage de la politique au verdict de vérité terrain (uniquement pour les données étiquetées).
3. Nombre de Questions ($R_{qc}$) : Pénalise les écarts par rapport au nombre optimal de sous-questions.
4. Diversité ($R_{div}$) : Utilise la Pertinence Marginale Maximale (MMR) sur les incrustations pour pénaliser les questions redondantes.
5. Couverture ($R_{cov}$) : Un LLM en tant que juge évalue si l'ensemble des réponses seul peut reconstruire le verdict correct.
6. Nécessité via Leave-One-Out ($R_{nec}$) : Un composant critique où le juge détermine si la suppression d'une question spécifique change le verdict. Les questions nécessaires (dont la suppression inverse le verdict) reçoivent des récompenses élevées ; les questions nuisibles (ceux qui induisent en erreur le verdict) reçoivent des récompenses négatives.
7. Qualité Multiplicative Jointe ($R_{joint}$) : Une récompense multiplicative combinant Répondabilité, Atomicité (focus unique, sans conjonctions) et Correction. Cela garantit qu'un seul échec dans n'importe quelle dimension ramène le score de la question à zéro.

3. Apprentissage Semi-Supervisé

Pour pallier la rareté des données étiquetées de référence, DECOMPOSERL prend en charge un entraînement semi-supervisé. Pour les affirmations non étiquetées :

• La Couverture est approximée via la cohérence interne : Le vote majoritaire de $G$ exécutions sert d'étiquette pseudo.
• La Nécessité est calculée par rapport au verdict reconstruit par la politique elle-même plutôt qu'à une vérité terrain.
• La récompense de Vérification est supprimée pour les données non étiquetées, tandis que les autres récompenses restent agnostiques aux étiquettes.

Contributions Clés

1. Ensemble de Récompenses Multi-Facettes : Un système de récompense novateur qui capture la qualité de la décomposition à travers plusieurs dimensions (nécessité, couverture, diversité, atomicité) en utilisant une combinaison de règles déterministes, de métriques basées sur des incrustations et d'évaluations par un LLM en tant que juge.
2. Capacité Semi-Supervisée : Un mécanisme de cohérence interne permettant au modèle d'apprendre à partir d'affirmations non étiquetées en exploitant l'accord intra-prompts, rendant l'approche viable pour des domaines où les annotations sont coûteuses.
3. Curation de Données Efficace : Un entonnoir de distillation qui réduit les besoins en données d'entraînement d'environ 96 % (de 155 000 à ~5 500 affirmations) tout en améliorant la densité du signal, permettant un entraînement RL efficace avec des ressources de calcul limitées.
4. Performance et Évolutivité : Démontrant qu'un modèle de 7 milliards de paramètres entraîné avec ce cadre peut égaler ou dépasser les performances de modèles nettement plus grands (32 milliards) et de modèles frontaux propriétaires (GPT-4.1-mini) tout en fournissant des traces inspectables.

Résultats Expérimentaux

Les auteurs ont évalué DECOMPOSERL sur 11 benchmarks de vérification d'affirmations (9 en domaine, 2 hors domaine), incluant des ensembles de données biomédicaux, politiques et scientifiques.

• Précision : Le modèle DECOMPOSERL-7B a atteint 86,3 % de précision équilibrée en domaine et 69,8 % hors domaine.
• Comparaison avec les Lignes de Base :
  • Il a surpassé toutes les lignes de base basées sur la décomposition (par exemple, Décomposition par Prompting, HiSS, ClaimDecomp) avec des marges significatives (+4,4 % en domaine, +2,8 % hors domaine par rapport à la ligne de base la plus forte).
  • Il a dépassé les classificateurs de bout en bout comme MiniCheck-7B.
  • Il a égalé les performances des modèles de 32 milliards de paramètres et du modèle frontal GPT-4.1-mini sur les tâches en domaine, bien qu'étant 4 fois plus petit que la ligne de base 32B et d'un ordre de grandeur plus petit que le modèle frontal.
• Performance Semi-Supervisée : Lorsqu'entraîné avec seulement 10 % de données étiquetées ($s=0.1$), DECOMPOSERL-7B a maintenu une précision en domaine de 84,6 % et une précision hors domaine de 69,7 %, surpassant toujours toutes les lignes de base 7B.
• Études d'Ablation : La suppression de la récompense de Nécessité a causé la plus grande baisse de performance hors domaine (-4,8 %), soulignant son rôle critique dans la généralisation. La suppression de la Couverture et de la Diversité a également impacté significativement la robustesse, confirmant la nécessité de l'ensemble complet pour les performances hors domaine.

Importance et Revendications

L'article affirme que DECOMPOSERL comble avec succès le fossé entre précision et interprétabilité dans la vérification d'affirmations. En formulant la décomposition comme un problème RL guidé par un ensemble de récompenses multi-facettes, les auteurs démontrent que :

• La traçabilité n'a pas besoin de se faire au détriment de la précision : Le modèle produit des traces de vérification étape par étape auditable sans sacrifier les performances par rapport aux classificateurs opaques.
• Efficacité paramétrique : Une haute performance peut être atteinte avec des modèles plus petits (7B) si le signal d'entraînement (conception de la récompense et curation des données) est optimisé, plutôt que de compter uniquement sur la mise à l'échelle de la taille du modèle.
• Évolutivité vers des environnements à faibles ressources : L'approche semi-supervisée permet au système de s'adapter à de nouveaux domaines où les annotations de référence sont rares ou coûteuses, en utilisant la cohérence interne pour amorcer l'apprentissage.

Les auteurs positionnent ce travail comme une solution au « fossé de traçabilité » dans la vérification automatisée des faits, offrant une méthode à la fois précise et transparente, adaptée aux applications à haut risque où les utilisateurs doivent inspecter le processus de raisonnement.