Résumé technique : Ancrage du raisonnement multi-sauts dans des modèles causaux structurels via l'optimisation de politique relative de groupe

1. Énoncé du problème

La vérification de faits multi-sauts (MHFV) exige que les modèles récupèrent des preuves discrètes provenant de multiples sources et synthétisent des chaînes de raisonnement cohérentes pour vérifier des affirmations complexes. Bien que les grands modèles de langage (LLM) aient été intégrés dans ce domaine, ils font face à des limitations significatives :

• Fragilité logique : Les méthodes existantes, y compris le fine-tuning supervisé (SFT) et les approches de type Chaîne de Pensée (CoT), apprennent souvent des corrélations statistiques plutôt que des mécanismes logiques rigoureux. Cela conduit à des chaînes logiques fracturées et à un « raisonnement halluciné ».
• Absence de modélisation causale : Les cadres actuels (par exemple, les réseaux de neurones graphiques, les programmes symboliques) améliorent l'intégration des preuves mais échouent à modéliser explicitement les dépendances causales intrinsèques entre les preuves et les affirmations, résultant en des processus de vérification opaques.
• Le paradoxe de la complexité : Les auteurs identifient empiriquement une corrélation en forme de « U inversé » entre la longueur de la chaîne de raisonnement et la précision. Bien que des chaînes plus longues améliorent initialement les performances, une complexité structurelle excessive introduit du bruit et dégrade la précision, en particulier dans des scénarios complexes (par exemple, des tâches à 3 ou 4 sauts).

2. Méthodologie

Le cadre proposé, SCM-GRPO, répond à ces problèmes grâce à un pipeline d'entraînement en deux étapes combinant des Modèles Causaux Structurels (SCM) et l'Optimisation de Politique Relative de Groupe (GRPO).

2.1. Cadre du Modèle Causal Structurel (SCM)

Les auteurs formalisent la MHFV comme un processus d'inférence causale constructive plutôt que comme une simple tâche de prédiction d'étiquette. Le processus de raisonnement est modélisé comme un graphe orienté acyclique (DAG) défini par le tuple $\mathcal{M} = (U, V, F)$ :

• Variables exogènes ($U$) : Faits objectifs récupérés à partir de documents de preuve (nœuds racines).
• Variables endogènes ($V$) : Conclusions intermédiaires et verdict final dérivés par déduction logique.
• Fonctions structurelles ($F$) : Mappings qui définissent explicitement la dépendance causale des variables endogènes par rapport à leurs parents.

Une contrainte critique est imposée : une nouvelle variable endogène ne peut être ajoutée au graphe que si son ensemble de parents requis est entièrement présent. Cela assure un ordre topologique, éliminant les sauts logiques et les hypothèses implicites.

2.2. Construction de données par distillation

Pour entraîner les modèles sur ce paradigme structuré, les auteurs emploient un pipeline de distillation :

1. Données de départ : Utilisation de benchmarks multi-sauts de haute qualité (HoVer, EX-FEVER).
2. Distillation par enseignant : Un LLM « Enseignant » puissant (par exemple, Qwen3-30B-A3B) est sollicité pour générer explicitement les composants SCM ($U, V, F$) plutôt qu'une simple étiquette finale.
3. Validation : Les chaînes générées sont filtrées pour leur cohérence avec les étiquettes de vérité terrain et assemblées en formats de prise de décision séquentielle ($C = \{(\tau_t, \alpha_t, o_t)\}_{t=1}^N$).

2.3. Fine-tuning supervisé (SFT)

Le modèle de base est d'abord aligné avec le paradigme de raisonnement SCM en utilisant le jeu de données structuré construit ($D_{struct}$). L'objectif est de maximiser la vraisemblance de la génération de la séquence structurée correcte (Preuve $\to$ Déduction $\to$ Conclusion), établissant ainsi une fondation pour une vérification traçable.

2.4. Optimisation via l'Optimisation de Politique Relative de Groupe (GRPO)

Pour répondre au compromis entre la profondeur structurelle et la concision (le problème du « U inversé »), les auteurs introduisent une stratégie d'apprentissage par renforcement (RL) basée sur des règles utilisant GRPO.

• Échantillonnage de groupe : Pour un prompt donné, la politique génère un groupe de $K$ séquences de raisonnement.
• Fonction de récompense composite ($R$) : La qualité d'une séquence est évaluée par trois composantes :
  1. Exactitude ($R_c$) : Récompense binaire basée sur la précision de la réponse.
  2. Structure ($R_s$) : Encourage la parcimonie (Rasoir d'Occam) en récompensant un ratio plus élevé de variables de preuve ($U$) par rapport aux étapes d'inférence ($V$), pénalisant les « gymnastiques mentales » excessives.
  3. Longueur ($R_l$) : Guide la longueur de la chaîne vers un intervalle optimal $[l_{min}, l_{max}]$ pour éviter la dégradation associée aux chaînes trop longues.
• Avantage relatif : GRPO met à jour la politique en fonction de la performance relative des échantillons au sein du groupe, réduisant la variance d'entraînement et stabilisant l'apprentissage de stratégies de raisonnement complexes.

3. Contributions clés

1. Cadre causal formel : L'introduction du SCM à la MHFV, fournissant une fondation sémantique interprétable qui modélise explicitement les dépendances causales entre les preuves et les affirmations via un DAG.
2. Insight empirique et optimisation RL : La découverte de la relation en forme de U inversé entre la longueur de la chaîne de raisonnement et la précision. Les auteurs proposent une stratégie novatrice basée sur GRPO pour contraindre de manière adaptative la complexité structurelle, équilibrant rigueur et parcimonie.
3. Performances de pointe : Le cadre SCM-GRPO atteint des performances supérieures sur les benchmarks publics, démontrant une généralisation robuste et une cohérence logique dans des scénarios multi-sauts complexes.

4. Résultats expérimentaux

Le cadre a été évalué sur les benchmarks HoVer et EX-FEVER contre diverses lignes de base, incluant la prédiction directe, ProgramFC, FOLK, RAG et Search-o1.

• Performances globales : SCM-GRPO a obtenu des résultats de pointe (SOTA) sur tous les sous-ensembles d'évaluation.
  • HoVer 2-sauts : 73,42 % (contre 69,00 % pour Search-o1).
  • HoVer 4-sauts : 60,88 % (contre 56,60 % pour Search-o1).
  • EX-FEVER 3-sauts : 75,00 % (contre 72,80 % pour Search-o1).
• Validation de la nécessité du RL : Les expériences ont montré que l'application de SCM-CoT sans optimisation RL dégradait souvent les performances (par exemple, la précision de Qwen3-14B est passée de 57,48 % à 47,22 % sur HoVer 2-sauts lors de l'utilisation de SCM-CoT seul). Le pipeline complet SCM-GRPO était nécessaire pour convertir le potentiel structurel en gains de performance.
• Études d'ablation : En comparant les stratégies d'optimisation sur l'architecture de base Qwen3-8B, GRPO (75,42 % de précision) a nettement surpassé à la fois le SFT seul (73,33 %) et l'optimisation des préférences de contexte (CPO) (71,91 %), confirmant l'efficacité des objectifs relatifs au niveau du groupe pour stabiliser le raisonnement complexe.

5. Importance et limites

Importance :
L'article prétend offrir une solution fiable et interprétable pour la vérification de faits complexes en ancrant le raisonnement dans des structures causales explicites. Il comble le fossé critique du « raisonnement halluciné » dans les LLM en imposant une validité topologique et en utilisant le RL pour optimiser dynamiquement le compromis entre la profondeur du raisonnement et la concision. Ce travail fournit des insights empiriques novateurs sur la façon dont la complexité structurelle impacte la fiabilité du raisonnement des LLM.

Limites :
Les auteurs reconnaissent modestement deux limitations principales :

1. Dépendance aux données : La performance du cadre dépend partiellement de la qualité des données d'entraînement structurées construites automatiquement et générées via distillation.
2. Généralisation aux chaînes ultra-longues : La capacité de généralisation pour les chaînes de raisonnement dépassant 4 sauts reste à vérifier davantage.

Un travail futur est proposé pour explorer des méthodologies de construction de données plus robustes et étendre le cadre de raisonnement causal à un spectre plus large de tâches de raisonnement complexes.