Differentiable Conformal Training for LLM Reasoning Factuality

1. Problématique : L'Hallucination et les Limites des Méthodes Existantes

Les Grands Modèles de Langage (LLM) sont de plus en plus utilisés dans des domaines à haut risque, mais leur tendance à "halluciner" (générer des informations fausses avec confiance) limite leur fiabilité.

• Prédiction Conformable (CP) : Pour garantir la fiabilité statistique, la Prédiction Conformable (CP) est utilisée pour calibrer les taux d'erreur sur des données de validation, garantissant que les sorties retenues respectent un taux d'erreur utilisateur spécifié (ex: $\alpha = 0.10$).
• Facticité Cohérente (Coherent Factuality - CF) : Une approche récente (Rubin-Toles et al., 2025) étend la CP au raisonnement multi-étapes en représentant les sorties sous forme de graphes de dépendance (Approximate Deducibility Graphs - ADG). Contrairement aux méthodes traitant les affirmations indépendamment, la CF exige qu'une affirmation soit valide uniquement si tous ses "ancêtres" logiques (les étapes précédentes du raisonnement) sont également valides.
• Le Goulot d'Étranglement : La méthode CF actuelle repose sur des fonctions de score manuelles basées sur la fréquence d'auto-cohérence (self-consistency). Pour garantir un taux d'erreur très faible (haute fiabilité), ces méthodes manuelles doivent filtrer de manière excessive, rejetant jusqu'à 60 % des affirmations vraies. De plus, ces opérations discrètes (filtrage, sélection de seuils) ne sont pas différentiables, empêchant l'apprentissage automatique d'améliorer les scores de risque de manière end-to-end.

2. Méthodologie : Differentiable Coherent Factuality (DCF)

Les auteurs proposent DCF, une relaxation entièrement différentiable de l'algorithme CF, permettant d'optimiser les fonctions de score via la descente de gradient tout en préservant les garanties théoriques de la CP.

A. Relaxation des Opérations Discrètes

Pour rendre le pipeline CF différentiable, les auteurs remplacent les opérations discrètes par des approximations lisses (surrogates) :

1. Filtrage par Seuil (Threshold Filtering) : Remplacement de l'indicateur binaire $\mathbb{1}\{r_v \le \tau\}$ par une fonction sigmoïde $\sigma(\frac{\tau - r_v}{T_p})$, où $T_p$ est une température contrôlant la netteté.
2. Cohérence des Ancêtres (Ancestor Coherence) : Au lieu d'une conjonction logique stricte (un nœud est retenu seulement si tous ses ancêtres le sont), DCF utilise une moyenne géométrique pondérée des probabilités de rétention des ancêtres. Cela permet au gradient de s'écouler à travers la structure du graphe.
3. Sélection du Seuil (Argmax/Supremum) : Le calcul du score de non-conformité (le plus grand seuil $\tau$ garantissant la validité) est relaxé via un softmax sur une fonction d'utilité combinant la magnitude du seuil et une mesure de violation (présence de fausses affirmations).
4. Calibration (Quantiles) : Le calcul du quantile pour la calibration est remplacé par un opérateur de quantile doux (soft quantile), permettant la rétropropagation du gradient.

B. Entraînement End-to-End

Le processus d'entraînement simule le pipeline complet de la CP (calibration et prédiction) sur des données d'entraînement :

• Les données sont divisées en sous-ensembles de calibration et de prédiction.
• Le modèle apprend les paramètres $\theta$ du scoreur $\pi_\theta$ en minimisant une fonction de perte qui maximise le nombre d'affirmations vraies retenues, tout en respectant les contraintes de couverture conformable.
• Théorème de Convergence : Les auteurs prouvent théoriquement (Théorèmes 3.1 et 3.2) que lorsque les paramètres de température tendent vers leurs limites (ex: $T_p \to 0$), la relaxation DCF converge vers l'algorithme CF original discret, garantissant que les performances à l'entraînement reflètent la réalité du déploiement.

3. Contributions Clés

1. Preuve Théorique et Empirique : Démonstration que les opérations discrètes de la CF peuvent être fidèlement modélisées par des relaxations différentiables, permettant un apprentissage par gradient sans sacrifier les garanties de couverture.
2. Optimisation End-to-End : Premier cadre permettant d'optimiser directement le taux de rétention des affirmations dans un contexte de raisonnement structuré en graphe, tout en maintenant les garanties statistiques.
3. Analyse d'Interprétabilité : Mise en évidence que DCF apprend à combiner des signaux complémentaires (structure du graphe, cohérence sémantique, fréquence) plus efficacement que n'importe quelle fonction de score individuelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données de raisonnement : MATH (problèmes mathématiques complexes) et FELM (divers domaines de raisonnement).

• Amélioration de la Rétention : DCF surpasse significativement les méthodes de référence (y compris la CF manuelle et les méthodes indépendantes).
  • Sur le jeu de données MATH, DCF améliore la rétention des affirmations vraies de jusqu'à 141 % par rapport à la CF basée sur la fréquence, tout en respectant les garanties de couverture.
  • Sur FELM, l'amélioration atteint 61 %.
• Comparaison avec les Baselines :
  • DCF > CF (manuelle) > Indépendante (sans graphe) > Boosted Independent (apprentissage sans graphe).
  • Cela prouve que l'amélioration provient de la combinaison de l'apprentissage et de la modélisation des dépendances (structure du graphe). L'apprentissage seul sans structure de graphe (Boosted Independent) fonctionne même moins bien que la méthode manuelle indépendante.
• Robustesse aux Signaux Faibles : Dans les cas où la fréquence d'auto-cohérence est nulle (ex: une technique mathématique valide mais rare), la méthode CF rejette toute la chaîne de raisonnement. DCF, en revanche, utilise d'autres signaux (connectivité du graphe, position de l'affirmation) pour retenir les affirmations correctes.

5. Signification et Impact

Ce travail comble un fossé crucial entre les garanties formelles et l'utilité pratique des systèmes LLM.

• Utilité Pratique : Les méthodes conformes précédentes étaient souvent trop conservatrices pour être utiles (rejetant trop d'informations correctes). DCF rend la facticité conformable applicable dans des scénarios réels en maximisant l'information utile tout en garantissant la sécurité statistique.
• Avancement Théorique : L'introduction de relaxations différentiables pour des structures de graphes couplées (dépendances logiques) ouvre la voie à de nouvelles recherches sur l'optimisation de la confiance dans les systèmes de raisonnement complexes.
• Déploiement : À l'inférence (test), le scoreur appris est déployé dans l'algorithme CF original (discret), assurant que les garanties théoriques sont strictement respectées en production.

En résumé, DCF transforme la validation de la facticité des LLM d'un processus de filtrage manuel et conservateur en un système d'apprentissage adaptatif capable de préserver la richesse du raisonnement tout en éliminant les hallucinations.