Résumé technique : HALT (Hallucination Assessment via Log-probs as Time series)

1. Énoncé du problème

Les grands modèles de langage (LLM) produisent fréquemment des hallucinations — des sorties contenant des informations vérifiablement fausses ou non étayées. Cela constitue une barrière significative au déploiement des LLM dans des domaines critiques pour la sécurité. Les méthodes de détection existantes font face à des limitations distinctes :

• Les approches « boîte blanche » (white-box) nécessitent l'accès aux états internes du modèle (activations cachées, cartes d'attention), ce qui est impossible pour les API propriétaires et fermées.
• Les approches textuelles « boîte noire » (black-box) reposent souvent sur la récupération externe, des appels API supplémentaires ou des LLM auxiliaires pour juger de la cohérence. Celles-ci introduisent de la latence, des coûts et le risque que le modèle « juge » lui-même hallucine ou introduise un biais de domaine.
• Les approches basées sur l'incertitude reposent souvent sur des statistiques agrégées (ex. : moyenne de confiance, entropie globale) qui peuvent échouer à capturer la dynamique temporelle des erreurs de calibration du modèle.

Les auteurs postulent que, bien que les probabilités brutes des tokens seuls ne soient pas des indicateurs fiables de la véracité en raison des biais de calibration, l'évolution temporelle de ces probabilités contient des signaux stables d'incertitude. La question de recherche centrale est la suivante : Les hallucinations peuvent-elles être détectées en modélisant uniquement la séquence des log-probabilités des tokens sans analyser le texte généré ni consulter des références externes ?

2. Méthodologie

2.1. Paradigme central : Les log-probabilités comme séries temporelles

HALT traite la classification de la séquence des log-probabilités des top-$k$ tokens comme un problème de série temporelle. Au lieu de réduire les probabilités en statistiques sommaires, la méthode préserve la séquence ordonnée de la confiance du modèle à chaque étape de décodage.

Représentation d'entrée :
Pour une réponse de longueur $T$, le modèle extrait les 20 meilleures log-probabilités ($\ell_t \in \mathbb{R}^{20}$) à chaque pas de temps $t$. Celles-ci sont concaténées avec cinq caractéristiques ingénierées pour former un vecteur de caractéristiques enrichi $\tilde{\ell}_t$ :

1. Log-probabilité moyenne : Un substitut de la netteté de la distribution.
2. Proxy de rang : Un rang borné du token sélectionné au sein du top-20, capturant des choix non-greedy ou atypiques.
3. Entropie globale ($H_{overall}$) : Incertitude sur le token sélectionné et ses alternatives.
4. Entropie des alternatives uniquement ($H_{alts}$) : Désaccord entre les candidats concurrents.
5. Changement temporel de l'entropie de décision ($\Delta H_{dec}$) : Capture les transitions brusques de certitude entre le token sélectionné et la meilleure alternative.

L'entrée finale est une série temporelle $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$.

2.2. Architecture

Le modèle utilise une unité récurrente à porte bidirectionnelle (Bidirectional GRU) légère de 5 millions de paramètres.

• Encodeur : Un GRU bidirectionnel multicouche traite la séquence pour capturer les motifs temporels dans les deux directions (avant et arrière).
• Pooling : Un mécanisme de Top-$q$ pooling (où $q=0,15$) agrège les états cachés. Il fait la moyenne des pas de temps les plus saillants (ceux ayant les normes d'état caché les plus élevées), se concentrant sur les moments de changements brusques de confiance plutôt que de diluer les signaux à travers tous les tokens.
• Sortie : Une couche linéaire produit un seul logit pour la classification binaire (halluciné vs fidèle), entraîné avec une perte d'entropie croisée binaire.

2.3. Hypothèses clés

Les auteurs proposent quatre hypothèses validées dans l'étude :

1. Biais spécifique au modèle : Chaque LLM possède une fonction de biais de calibration déterministe régissant ses probabilités top-$k$.
2. Apprentissabilité : Un GRU peut apprendre à approximer cette dynamique induite par le biais, associant des motifs temporels spécifiques aux hallucinations.
3. Non-transférabilité : Les détecteurs entraînés sur les log-probs d'un modèle ne se transfèrent pas de manière fiable à une architecture de modèle différente en raison de différences de biais de calibration.
4. Généralisation des tâches : Au sein d'un même modèle, un détecteur entraîné sur une famille de tâches se généralise aux autres car le biais de calibration sous-jacent est constant à travers les tâches.

3. Benchmark : HUB (Hallucination detection Unified Benchmark)

Pour évaluer la méthode, les auteurs introduisent HUB, un benchmark complet couvrant 10 capacités de LLM :

• Orienté raisonnement : Algorithmique, Sens commun, Mathématique, Raisonnement symbolique et Génération de code.
• Usage général : Chat, Data-to-Text, Question-Réponse, Résumé, et Connaissance du monde.

HUB étend les ensembles de données précédents (FAVA, RAGTruth, HaluEval) et intègre CriticBench pour inclure les hallucinations logiques (étapes de raisonnement défectueuses menant à des réponses incorrectes ou par chance correctes) aux côtés des hallucinations factuelles. Le jeu de données est divisé en ensembles d'entraînement, de validation et de test, l'entraînement étant restreint au Chat, au Data-to-Text et au QA pour tester rigoureusement la généralisation hors distribution sur les tâches de raisonnement.

4. Résultats

4.1. Performance sur HUB

HALT surpasse significativement les lignes de base existantes :

• Efficacité : HALT est 30$\times$ plus petit que le détecteur Lettuce (un encodeur ModernBERT-base affiné) et obtient une accélération de 60$\times$.
• Précision : HALT obtient les meilleurs scores Macro-F1 sur 7 des 10 clusters.
  • HALT-L (entraîné sur LLaMA 3.1-8B) atteint un Macro-F1 global de 67,01, surpassant Lettuce (64,00) et les bases de statistiques agrégées (ex. : $H_{overall}$ à 32,86).
  • Il excelle particulièrement dans les tâches de raisonnement (Algorithmique, Sens commun, Symbolique) où les indices de calibration au niveau de la séquence sont plus prédictifs que les heuristiques textuelles.

4.2. Transférabilité et Généralisation

• Transversalité des tâches : HALT démontre une forte généralisation à travers différentes familles de tâches au sein d'un même modèle, soutenant l'hypothèse que le biais de calibration est indépendant de la tâche.
• Transversalité des modèles : Comme prévu, la performance chute considérablement lorsqu'un modèle entraîné sur les log-probs de LLaMA est appliqué aux log-probs de Qwen (et vice versa), confirmant que les dynamiques de calibration sont spécifiques au modèle et ne sont pas directement transférables entre architectures.
• Robustesse : HALT reste compétitif sur des benchmarks externes (FAVA, RAGTruth) malgré le fait qu'il n'ait pas été ajusté spécifiquement pour eux.

5. Signification et Revendications

Le papier revendique les contributions et significations suivantes :

• Nouveau paradigme de boîte noire : HALT introduit une méthode de détection qui repose uniquement sur les log-probabilités des tokens, évitant ainsi le besoin d'analyse de la forme de surface du texte, de validateurs externes ou d'accès interne au modèle. Cela le rend unique pour les API propriétaires.
• Dynamique temporelle plutôt que métriques statiques : Ce travail démontre que traiter les log-probabilités comme une série temporelle permet de capturer des motifs d'incertitude (ex. : pics d'entropie brusques, inversions de rang) que les statistiques agrégées ne saisissent pas.
• Cadre unifié : En intégrant les échements de raisonnement logique dans la définition de l'hallucination, HUB offre une vue plus large de l'infidélité sémantique, allant au-delà de la simple vérification factuelle.
• Efficacité pratique : La méthode offre une alternative hautement efficace aux encodeurs volumineux, permettant une détection d'hallucination en temps réel avec un surcoût négligeable, car elle ne nécessite que le flux de log-probabilités déjà disponible pendant la génération.

Les auteurs concluent que, bien que HALT ne soit pas lié à un seul modèle, il apprend des dynamiques d'incertitude transférables qui se généralisent à travers les tâches au sein d'un modèle, établissant une nouvelle modalité pour analyser l'incertitude des modèles sans nécessiter d'accès aux poids ou à des données externes.