Résumé technique : Test de résistance des sondes de détection de tromperie dans les LLM

Énoncé du problème

Les sondes linéaires entraînées sur les activations internes des grands modèles de langage (LLM) sont devenues une méthode principale pour détecter la génération trompeuse, offrant des métriques automatisées qui évaluent si la sortie d'un modèle est trompeuse sans nécessiter d'étiquettes de vérité terrain. Bien que ces sondes rapportent des scores AUROC quasi parfaits (souvent >0,96) sur des benchmarks propres, elles présentent une fragilité profonde sous des décalages de distribution, tels que des changements stylistiques ou des suffixes adversariaux. Ce « fossé de fragilité des sondes » soulève des questions critiques : l'échec est-il dû à une limitation architecturale fondamentale où la tromperie n'est pas représentable linéairement, ou s'agit-il d'un artefact méthodologique de distributions d'entraînement étroites ? De plus, il reste unclear si la tromperie est encodée comme une direction linéaire unique, un sous-espace multidimensionnel, une enveloppe conique convexe, ou simplement un proxy pour l'entropie computationnelle.

Méthodologie

Cette étude présente un test de résistance systématique des sondes de détection de tromperie à travers la famille de modèles Gemma 3 (1B, 4B, 12B et 27B paramètres), sélectionnée pour son homogénéité architecturale afin d'isoler les effets de mise à l'échelle. La conception de la recherche implique quatre hypothèses concurrentes concernant la géométrie de la tromperie, chacune avec des prédictions pré-enregistrées et falsifiables :

1. H-LIN (Direction linéaire) : La tromperie est encodée dans un seul vecteur unitaire.
2. H-SUB (Sous-espace) : La tromperie occupe un sous-espace linéaire symétrique multidimensionnel.
3. H-CONE (Enveloppe conique) : La tromperie forme un cône convexe asymétrique.
4. H-ENT (Proxy d'entropie) : Les sondes détectent l'entropie computationnelle plutôt que l'intention de tromperie.

Conception expérimentale :

• Ensembles de données : Trois ensembles de données principaux ont été construits en utilisant la manipulation de prompts système pour induire des états honnêtes versus trompeurs : D-RepE (questions factuelles contrastives), D-Role (scénarios de jeu de rôle) et D-MASK (contradictions de croyance).
• Entraînement des sondes : Des sondes de régression logistique ont été entraînées sur les activations du flux résiduel au token final. Les expériences comprenaient des sondes unidirectionnelles, des sondes multidimensionnelles (utilisant les k premières composantes de l'ACP) et des bornes supérieures non linéaires MLP.
• Test de robustesse : Les sondes ont été évaluées sous 8 décalages stylistiques orthogonaux (par exemple, pirate, shakespeareen, robotique) pour tester la robustesse distributionnelle.
• Augmentation : Pour distinguer entre les limitations fondamentales et les artefacts d'entraînement, des sondes « augmentées en style » ont été entraînées sur des données combinant des exemples propres avec quatre des huit décalages stylistiques, puis évaluées sur des styles retenus.
• Décomposition géométrique : Des matrices de transfert inter-domaines et des décompositions de désalignement de couches ont été utilisées pour déterminer si les échecs de transfert étaient causés par un désalignement de couches ou une disjonction géométrique. Des tests de résidualisation de l'entropie ont été menés pour isoler l'entropie des signaux de tromperie.

Résultats clés

1. Rejet de l'hypothèse de direction unique (H-LIN)

Contrairement à l'hypothèse selon laquelle la tromperie réside sur un seul axe linéaire, les sondes unidirectionnelles ($k=1$) n'ont capturé que 61–80 % du signal de tromperie (AUROC 0,61–0,80) à toutes les échelles de modèles. Des sondes multidimensionnelles ($k \ge 5$) ont été nécessaires pour retrouver une détection quasi parfaite (AUROC >0,90). De plus, l'analyse de transfert inter-domaines a révélé que les types de tromperie deviennent géométriquement de plus en plus disjoints à mesure que l'échelle du modèle augmente. Par exemple, une sonde entraînée sur des données D-MASK a performé en dessous du hasard (AUROC 0,298) lorsqu'elle a été appliquée à des données D-RepE dans le modèle 27B, indiquant une anti-corrélation active plutôt qu'un simple désalignement.

2. Faible soutien pour un sous-espace cohérent (H-SUB)

Bien que les sondes multidimensionnelles aient amélioré les performances, l'analyse ACP par domaine avec des baselines de permutation nulles a montré qu'aucun sous-espace statistiquement significatif n'existe ($k^*=0$) au sein des domaines individuels ou sur les données regroupées. L'avantage des sondes multidimensionnelles provient de l'agrégation de nombreuses caractéristiques distribuées, individuellement sous le seuil, plutôt que de la capture d'un sous-espace cohérent à haute variance.

3. Rejet de l'hypothèse du proxy d'entropie (H-ENT)

L'hypothèse selon laquelle les sondes détectent l'entropie computationnelle a été rejetée de manière décisive. La corrélation maximale entre les scores des sondes et l'entropie des tokens était de $|\rho| = 0,454$, bien en dessous du seuil de 0,8. De plus, la résidualisation de l'entropie des activations a entraîné une baisse négligeable de l'AUROC ($\Delta = 0,004$), confirmant que les sondes détectent des signaux pertinents pour la tromperie distincts de la charge cognitive ou de l'entropie.

4. Fragilité comme artefact d'entraînement, et non comme limitation architecturale

Sous un entraînement standard (données propres uniquement), la robustesse des sondes a suivi un motif en U inversé à travers les échelles : 1B (0,652) $\to$ 4B (0,759) $\to$ 12B (0,609) $\to$ 27B (0,485). Le modèle 27B, malgré sa capacité, s'est effondré à des niveaux de hasard sous des décalages stylistiques car sa fidélité supérieure au suivi des instructions a écrasé les indices stylistiques étroits que la sonde avait appris.

Cependant, l'entraînement augmenté en style a résolu cette fragilité. Les sondes entraînées sur des données stylistiques diversifiées ont retrouvé une détection quasi parfaite sur des styles non vus pour les modèles 4B (AUROC 0,979) et 27B (AUROC 0,983). Cela démontre que le flux résiduel contient des signaux pertinents pour la tromperie séparables des corrélats stylistiques, et que l'« inversion de l'échelle » observée de la robustesse est une conséquence de l'étroitesse de la distribution d'entraînement, et non d'un phénomène fondamentalement dépendant de l'échelle.

5. Nature du signal détecté

Une analyse stratifiée a révélé que les sondes détectent le « régime de prompt trompeur » (l'état interne induit par un prompt système trompeur) plutôt que le succès de la tromperie elle-même. Les sondes ont obtenu des scores AUROC identiques (0,998–1,000) pour des exemples où le modèle a menti avec succès et des exemples où il a échoué à mentir (produisant la bonne réponse malgré le prompt).

Signification et revendications

L'article revendique que la fragilité des sondes de détection de tromperie est principalement un défi méthodologique plutôt qu'une impossibilité architecturale. Les contributions clés sont :

• Caractérisation géométrique : La tromperie n'est pas une direction linéaire unique mais un ensemble distribué de caractéristiques faibles, sous le seuil, qui nécessitent une agrégation multidimensionnelle. Ces caractéristiques sont spécifiques au domaine et deviennent de plus en plus disjointes avec l'échelle.
• Résolution du fossé de fragilité : L'effondrement des sondes sous un décalage de distribution n'est pas une limitation inhérente des modèles plus grands. En augmentant les données d'entraînement avec une diversité stylistique, les sondes peuvent atteindre une détection robuste et quasi parfaite à travers les échelles, neutralisant efficacement le motif d'« inversion de l'échelle » observé dans l'entraînement standard.
• Cadre diagnostique : L'étude fournit un cadre rigoureux pour distinguer entre les limitations représentationnelles et les artefacts d'entraînement, rejetant l'hypothèse du proxy d'entropie et clarifiant la nature géométrique des représentations trompeuses.

Les auteurs concluent que bien que les sondes actuelles soient facilement éludées par des décalages stylistiques triviaux, le signal sous-jacent est robuste et apprenable. La voie à suivre pour une surveillance fiable de la tromperie réside dans des méthodologies d'entraînement qui garantissent la diversité distributionnelle, plutôt que de supposer une structure géométrique fixe et simple pour la tromperie.