Résumé Technique : CORVUS

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont sujets aux hallucinations — la génération de contenus fluides mais infondés. Les défenses actuelles reposent souvent sur des approches basées sur la télémétrie interne, qui tentent de détecter les hallucinations en analysant les propres calculs du modèle (par exemple, l'incertitude des jetons, la géométrie des états cachés et les motifs d'attention) lors d'une passe directe unique. Ces méthodes, incluant les scores sans entraînement (ex: PPL, LLM-Check) et les détecteurs basés sur des sondes (ex: SEP, ICR-probe), supposent implicitement que les hallucinations laissent des traces détectables et séparables dans ces signaux internes.

Cependant, les évaluations antérieures traitent généralement le LLM comme une cible passive. Dans les déploiements en poids ouverts (open-weight) ou auto-hébergés, un adversaire côté modèle, en boîte blanche (white-box), peut modifier le modèle pour masquer ces traces sans altérer le contenu de surface. Cet article étudie si les détecteurs à passe unique sont robustes face à un adversaire qui affine des adaptateurs légers pour camoufler les signaux de télémétrie spécifiques utilisés pour la détection, tout en maintenant la réponse générée fixe.

Méthodologie : CORVUS

Les auteurs introduisent CORVUS (Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure), une procédure de red-teaming conçue pour apprendre des adaptateurs LoRA légers capables de camoufler la télémétrie visible par les détecteurs.

Mécanisme Central

CORVUS opère sous un protocole de rejeu à réponse fixe et à enseignement forcé (teacher-forced replay protocol). L'adversaire ne modifie pas le texte généré ; il modifie plutôt l'état interne du modèle afin que les signaux de télémétrie associés à une réponse hallucinée paraissent statistiquement similaires à ceux d'une réponse fidèle.

La méthode optimise trois signaux de télémétrie généraux sur la fenêtre de la réponse :

1. Entropie des Jetons (TE) : L'entropie prédictive moyenne de la distribution du jeton suivant.
2. Volume de l'Espace Caché (HV) : Un proxy du logarithme du déterminant de la matrice de covariance des états cachés, résumant la dispersion des représentations des jetons de la réponse dans l'espace caché.
3. Diagonale de l'Attention (AD) : Une mesure de l'attention auto-centrée au sein de l'étendue de la réponse (concentration de l'attention sur le jeton lui-même).

Objectif d'Entraînement

CORVUS entraîne des adaptateurs LoRA (rang $r=64$, échelle $\alpha=128$) en utilisant une fonction de perte conjointe qui préserve l'utilité de la tâche tout en décalant la télémétrie :
$$\mathcal{L} = \mathcal{L}_{CE} + \beta_{te} \text{TE}_{clean} - \beta_{hv} \text{HV}_{clean} - \lambda_{adv} \text{AD}_{adv}$$

• $\mathcal{L}_{CE}$ : Perte d'entropie croisée standard pour maintenir la réponse correcte sous enseignement forcé.
• $\text{TE}_{clean}$ : Pénalisée pour réduire l'incertitude des jetons.
• $\text{HV}_{clean}$ : Maximisée (via un signe négatif) pour déplacer la géométrie de l'état caché.
• $\text{AD}_{adv}$ : Un nouveau test de stress d'encastrement (embedding) adversarial. Les auteurs utilisent une méthode de signe de gradient rapide (FGSM) en une étape dans l'espace d'encastrement pour perturber les entrées spécifiquement afin de diminuer la diagonalité de l'attention. Le terme de perte encourage le modèle à récupérer une haute diagonalité même sous cette perturbation, "durcissant" ainsi efficacement le signal d'attention contre la détection.

Données et Transfert

Crucialement, CORVUS est entraîné uniquement sur 1 000 instructions Alpaca hors distribution (OOD). Il ne voit jamais le benchmark cible (FAVA-Annotation) ni les étiquettes d'hallucination durant l'entraînement. Les adaptateurs sont ensuite appliqués de manière zero-shot aux modèles et jeux de données cibles.

Contributions Clés

1. Définition de la Méthode : Les auteurs définissent un ensemble spécifique de signaux de télémétrie de la fenêtre de réponse (TE, HV, AD) et démontrent comment entraîner des adaptateurs légers pour les remodeler sous enseignement forcé, incluant un test de stress d'attention par FGSM en une étape dans l'espace d'encastrement.
2. Généralisation OOD : La méthode est entraînée sur un petit jeu de données OOD (Alpaca) sans étiquettes d'hallucination, mais parvient à se transférer avec succès au benchmark FAVA-Annotation à travers plusieurs familles de modèles.
3. Résultats d'Évasion : CORVUS dégrade avec succès les performances des détecteurs sans entraînement (LLM-Check, PPL, Window-Entropy) ainsi que des sondes entraînées (SEP, ICR-probe) lorsqu'ils sont appliqués aux modèles adaptés.
4. Insight Mécaniste : L'article relie les décalages contrôlés de TE, HV et AD à l'échec des scores des détecteurs fixes, montrant qu'une mise à jour modeste des adaptateurs peut faire s'effondrer la séparabilité des signaux de télémreté.

Résultats Expérimentaux

Les auteurs ont évalué CORVUS sur quatre LLM en poids ouverts (Llama-2, Vicuna, Llama-3, Qwen2.5) en utilisant le jeu de données FAVA-Annotation.

• Dégradation des Détecteurs : Sur tous les modèles, CORVUS réduit significativement l'AUROC, la précision et les scores F1 des détecteurs existants.
  • Scores sans entraînement : Le score d'attention de LLM-Check subit des chutes sévères (ex: une baisse de 25,5 points de l'AUROC sur Llama-2, passant de 73,6 à 48,1).
  • Sondes entraînées : SEP et ICR-probe, qui ont été entraînés sur la télémétrie de modèles "propres", ne parviennent pas à se généraliser aux modèles adaptés par CORVUS, avec des baisses d'AUROC allant de 17 à 27 points.
• Effondrement du Seuil Fixe : Lorsque les détecteurs ont été calibrés sur des modèles propres (ex: à un taux de faux positifs de 5 %), le taux de vrais positifs s'est effondré pour atteindre presque zéro lors de l'application aux modèles adaptés par CORVUS, indiquant un décalage de calibration sévère et une perte de séparabilité.
• Préservation de l'Utilité : Des vérifications de cohérence ont confirmé que les modèles adaptés conservent leur utilité de génération. Ils produisent des réponses non vides respectant les instructions, sans effondrement par répétition, et le texte de surface reste fluide (mesuré par la perplexité externe).

Signification et Revendications

L'article soutient que la télémétrie interne seule n'est pas un signal fiable pour la détection d'hallucinations sous des attaques adaptatives côté modèle.

• Vulnérabilité des Détecteurs à Passe Unique : Les résultats démontrent que les détecteurs reposant sur des traces internes (incertitude, géométrie, attention) sont fragiles. Un adversaire disposant d'un accès en boîte blanche peut apprendre à camoufler ces signaux sans altérer le texte de sortie, rendant les détecteurs fixes inefficaces.
• Nécessité d'un Audit Sensible à l'Adversaire : Les auteurs concluent qu'un audit robuste nécessite probablement de dépasser les signaux internes statiques d'un modèle unique. Ils suggèrent que les futures défenses doivent incorporer :
  1. Une diversité de signaux de télémétrie plus difficiles à manipuler conjointement.
  2. Des mécanismes de randomisation ou de défi-réponse pour empêcher la minimisation en boîte blanche.
  3. Un ancrage externe (grounding) ou des preuves multi-modèles (ex: approches d'augmentation par récupération/RAG) pour contourner les limites de la télémétrie interne.

Ce travail sert d'exercice de red-teaming pour exposer cette vulnérabilité, motivant le développement de défenses contre les hallucinations plus robustes et conscientes de l'adversaire.