Résumé Technique : LaaB (Cohérence Logique comme Pont)

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont sujets aux hallucinations factuelles, générant des sorties qui semblent plausibles mais contredisent des faits vérifiés ou le sens commun. Cette question de fiabilité entrave leur déploiement dans des applications réelles. Les méthodes existantes de détection d'hallucinations relèvent généralement de deux catégories isolées :

1. Détecteurs basés sur les motifs intrinsèques : Ils extraient des signaux neuronaux microscopiques (par exemple, états cachés, logits de prédiction, cartes d'attention) durant la génération pour quantifier l'incertitude. Bien qu'ils capturent des comportements neuronaux implicites, ils manquent souvent de calibration sémantique et échouent à identifier les hallucinations à haute certitude.
2. Détecteurs basés sur l'auto-évaluation : Ils reposent sur un raisonnement symbolique macroscopique, incitant le LLM à juger verbalement de la factualité de sa propre réponse. Cependant, cette approche est sujette à un biais de préférence envers soi-même, à une sur-analyse et à des hallucinations « secondaires » où le jugement lui-même est incorrect.

Les approches actuelles traitent ces comportements intrinsèquement couplés — l'incertitude neuronale implicite et le raisonnement symbolique explicite — de manière isolée, échouant à exploiter leur interdépendance pour une vision holistique.

Méthodologie : Cadre LaaB

Les auteurs proposent LaaB (Cohérence Logique comme Pont), un cadre qui relie les caractéristiques neuronales et les jugements symboliques pour améliorer la détection des hallucinations. L'innovation centrale consiste à traiter l'auto-évaluation du LLM non pas comme une vérité fondamentale, mais comme une réponse spéciale sujette à l'hallucination, permettant ainsi un processus d'apprentissage mutuel guidé par des contraintes logiques.

1. Modélisation à Double Vue

LaaB modélise deux processus de détection parallèles :

• Modélisation de l'hallucination de la réponse ($D_r$) : Un détecteur entraîné sur des caractéristiques intrinsèques ($F_r$) extraites de la réponse originale ($O_r$). Les caractéristiques incluent les états cachés ($H_r$), les logits de prédiction ($P_r$) et les scores d'attention ($A_r$).
• Modélisation de l'hallucination de l'auto-évaluation ($D_j$) : Un détecteur de « méta-jugement » entraîné sur des caractéristiques intrinsèques ($F_j$) extraites du jugement verbal de l'auto-évaluation du LLM ($O_j$, par exemple « Oui » ou « Non »). Ce détecteur prédit la factualité du jugement lui-même ($L_j$).

2. Modélisation des Contraintes Logiques

Le cadre exploite la relation logique inhérente entre la factualité de la réponse ($L_r$) et la factualité de l'auto-évaluation ($L_j$) :

• Si l'auto-évaluation est « Oui » (affirmant la réponse), la factualité prédite de la réponse doit correspondre à la factualité du jugement ($L_r = L_j$).
• Si l'auto-évaluation est « Non » (réfutant la réponse), la factualité prédite de la réponse doit être l'opposé de la factualité du jugement ($L_r = 1 - L_j$).

3. Apprentissage Mutuel Contraint par la Logique

Pour intégrer ces vues, LaaB emploie une stratégie d'apprentissage mutuel :

• Fonction de Perte : Une perte contrainte par la logique ($L_{Logic}$) basée sur la perte de Huber aligne les distributions de probabilité de $D_r$ et $D_j$ selon la dépendance logique définie ci-dessus.
• ** pondération Sensible à la Confiance :** Pour empêcher un détecteur plus faible de tromper un détecteur plus fort, le cadre applique un mécanisme de pondération sensible à la confiance. Le poids pour la perte logique est déterminé par le rapport de la confiance du pair à la confiance de soi-même.
• Stratégie d'Entraînement : Un processus en deux étapes est utilisé. Premièrement, $D_r$ et $D_j$ sont entraînés de manière asynchrone de façon rotative. Deuxièmement, ils sont affinés conjointement en utilisant un objectif combiné de perte d'entropie croisée et de la perte logique pondérée.
• Inférence : Lors de l'inférence, seul le détecteur de réponse ($D_r$) est déployé. Cela permet au système de bénéficier des connaissances distillées de la vue de l'auto-évaluation sans encourir le coût computationnel de la génération du jugement verbal.

Contributions Clés

1. Changement Conceptuel : L'article propose de considérer les auto-évaluations des LLM comme des artefacts génératifs sujets à l'hallucination, et non comme une vérité fondamentale. Cela permet aux contraintes logiques entre la réponse et le jugement de combler le fossé entre les signaux intrinsèques microscopiques et le raisonnement symbolique macroscopique.
2. Conception Méthodologique : LaaB introduit un cadre d'apprentissage mutuel qui aligne les prédictions de deux vues distinctes (réponse et auto-évaluation) via une optimisation contrainte par la logique, intégrant efficacement les motifs intrinsèques et les jugements symboliques.
3. Performance et Efficacité : Le cadre démontre une performance supérieure sur plusieurs jeux de données et LLM sans introduire de coûts d'inférence supplémentaires significatifs, car le module d'auto-évaluation n'est utilisé que pendant l'entraînement.

Résultats Expérimentaux

Les auteurs ont évalué LaaB sur 4 jeux de données publics (TriviaQA, MMLU, NQ_Open, HaluEval) en utilisant 4 LLM différents (Llama-3.1-8B/70B, Qwen-2.5-32B, Mistral-7B) par rapport à 8 lignes de base.

• Gains de Performance : LaaB a constamment amélioré la performance des lignes de base utilisant des motifs intrinsèques (SAPLMA, Logits Lens, Lookback Lens) dans la plupart des configurations. Par exemple, sur le modèle Llama-3.1-8B-Instruct, SAPLMA amélioré par LaaB a atteint un Macro F1 moyen de 75,20 contre 73,93 pour la version de base.
• Généralisation : La méthode a montré une généralisation robuste à travers différentes échelles de modèles (de 7B à 70B) et architectures. Les expériences de généralisation inter-jeux de données (exclusion d'un jeu de données) ont indiqué que LaaB réduit la dépendance aux indices spécifiques aux jeux de données, améliorant la robustesse face aux décalages de distribution.
• Études d'Ablation : Les variantes ont montré que les motifs intrinsèques de la réponse restent les indices les plus informatifs. Le détecteur d'auto-évaluation ($D_j$) sert principalement à compléter $D_r$ pendant l'entraînement, la plupart des bénéfices étant distillés dans $D_r$ au moment de l'inférence.
• Efficacité : La latence d'inférence reste faible (par exemple, ~0,02 ms/instance pour les variantes basées sur les états cachés), confirmant que le cadre n'augmente pas significativement la surcharge computationnelle lors du déploiement.

Signification et Revendications

L'article revendique que LaaB fournit une vision holistique de la détection d'hallucinations en traitant le couplage entre l'incertitude neuronale et le raisonnement symbolique comme un atout apprenable plutôt qu'une limitation. En mappant les étiquettes symboliques de retour dans l'espace des caractéristiques via un processus de « méta-jugement », le cadre crée un pont logique qui améliore la précision de détection.

Les auteurs soulignent que si les hallucinations peuvent être une propriété inhérente des LLM, une détection précise est cruciale pour des systèmes dignes de confiance. LaaB offre une solution pratique qui améliore les performances de détection à travers divers modèles et jeux de données sans nécessiter de récupération de connaissances externes ni de surcharge significative au moment de l'inférence. Le travail suggère que les orientations futures pourraient inclure l'application de ce cadre à des articles longs, des scénarios multi-modaux et son intégration avec des pipelines de vérification des faits.