Résumé Technique : LogitTrace

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont fréquemment évalués sur des benchmarks exigeants (par exemple, AIME, Math500). Un problème critique est la contamination des benchmarks, où les données de test ou leurs variantes apparaissent dans le corpus d'entraînement. Cela permet aux modèles de reproduire des solutions mémorisées tout en semblant raisonner, gonflant ainsi les métriques de performance et obscurcissant les véritables capacités de généralisation.

Les méthodes de détection existantes reposent principalement sur :

1. Chevauchement de surface : Similarité lexicale ou correspondances exactes de complétion.
2. Comportement de complétion : La capacité du modèle à reconstruire le texte cible à partir d'indices partiels.
3. Statistiques de sortie finale : Perplexité, vraisemblance de la sortie ou accord distributionnel.

Ces approches souffrent de problèmes de robustesse significatifs. Lorsque les éléments du benchmark sont reformulés, traduits ou perturbés structurellement, les signaux de surface se dégradent rapidement, échouant souvent à détecter une contamination qui persiste malgré l'absence de chevauchement mot à mot.

Méthodologie : LogitTrace

Les auteurs proposent LogitTrace (Trajectoires de Logits par Couche), un cadre qui détecte la contamination en analysant la dynamique temporelle de la prise de décision du modèle à travers les couches du réseau, plutôt que de se fier uniquement à la sortie finale.

Concept Central

L'hypothèse est que la mémorisation affecte comment une réponse se forme, et non seulement quelle est la réponse. Les exemples contaminés tendent à présenter un engagement plus précoce envers une solution spécifique à travers les couches, tandis que les exemples propres montrent une accumulation progressive de preuves.

Pipeline Technique

1. Extraction de Représentations (Logit Lens) :

   • Pour une entrée donnée $x$, les états cachés du modèle $h^{(\ell)}$ à chaque couche $\ell$ sont projetés à travers la matrice de décodage ($W_U$) pour obtenir des distributions de vocabulaire $p^{(\ell)}$.
   • Puisque l'accent est mis sur le raisonnement numérique, la distribution est restreinte aux jetons de chiffres ($0-9$).
   • Pour chaque couche, les auteurs calculent :
     • Les probabilités de chiffres $p^{(\ell)}(d)$.
     • L'entropie des chiffres $H^{(\ell)}$.
     • La probabilité maximale d'un chiffre $m^{(\ell)}$.
     • Les différences temporelles du premier ordre ($\Delta$) de ces métriques.

2. Construction des Caractéristiques :

   • Ces métriques forment une trajectoire de séquence multicanal $X \in \mathbb{R}^{C \times T}$, où $C=24$ canaux (12 caractéristiques brutes + 12 caractéristiques de différence) et $T$ est le nombre de couches.
   • Cette trajectoire capture l'évolution de la préférence du modèle pour des chiffres spécifiques au fur et à mesure qu'il traite l'entrée.

3. Modèle de Détection :

   • Un Réseau de Neurones Convolutif 1D (CNN) léger est entraîné pour classer ces trajectoires comme « contaminées » ou « propres ».
   • L'architecture comprend trois couches de convolution avec activation ReLU, un pooling moyen global et une tête de classificateur binaire.
   • Le détecteur est entraîné sur un jeu de données de contamination opérationnel (par exemple, AIME 1983–2024 comme contaminé vs AIME 2025 comme propre) et reste fixe pendant l'évaluation.

Contributions Clés

1. Cadre LogitTrace : Introduction d'un détecteur qui identifie les dynamiques de décision associées à la contamination à partir de trajectoires de logits par couche, allant au-delà des indices de surface.
2. Motif d'Engagement Précoce : Démonstration empirique que les exemples contaminés montrent systématiquement un engagement plus précoce envers les réponses à travers les couches par rapport aux exemples propres, un signal qui reste robuste sous reformulation, traduction et perturbation.
3. Preuve Causale Contrôlée : Validation via des expériences d'injection LoRA. En affinant des modèles sur des échantillons cibles avec des rangs LoRA variables, les auteurs montrent qu'une exposition répétée induit les mêmes motifs de trajectoire observés dans les exemples naturellement contaminés, et que les scores de confiance du détecteur augmentent de manière monotone avec la force de l'affinement.

Résultats Expérimentaux

La méthode a été évaluée sur quatre LLM open-source (Qwen-2.5-7B, Qwen-2.5-Math-7B, Llama-3.1-8B, Qwen-3-8B) à travers quatre distributions de texte : Original, Reformulé, Traduit et Perturbé.

• Robustesse : Alors que les baselines basées sur la complétion (par exemple, correspondance exacte, TS-Guessing) ont vu leurs taux de détection de contamination chuter en dessous de 20 % sur des entrées reformulées ou traduites, LogitTrace a maintenu des taux de détection élevés (par exemple, 63,1 % sur Qwen-2.5-7B reformulé contre 16,7 % pour les baselines).
• Faux Positifs : LogitTrace a considérablement réduit les faux positifs sur les échantillons propres par rapport aux méthodes basées sur la distribution (par exemple, perplexité ou distribution de sortie), qui étiquettaient souvent à tort des entrées reformulées propres comme contaminées.
• Études d'Ablation :
  • Profondeur de la Couche : Les signaux émergent tôt ; l'utilisation des 1/3 premières couches a donné des scores F1 d'environ 68 %, tandis que la profondeur complète a atteint environ 95 %.
  • Architecture : Le CNN 1D a surpassé les baselines MLP et Transformer, en particulier dans le maintien d'un faible taux de faux positifs (5,56 % contre 16,67 % pour le Transformer).
• Généralisation Externe : Appliqué au sous-ensemble mathématique de MMLU (zero-shot), LogitTrace a identifié environ 95 % des échantillons comme « ressemblant à vus ». Ce groupe a montré des performances de modèle significativement plus élevées (précision Top-1 +0,33) par rapport au groupe « non vu », suggérant que le détecteur capture une familiarité réelle.

Importance et Revendications

L'article revendique que LogitTrace fournit des preuves au-delà du chevauchement de surface et de la confiance de la sortie finale. En analysant la dynamique interne du modèle, il offre une lentille plus robuste pour étudier les comportements de type mémorisation.

• Lien Causal : Les expériences d'injection LoRA fournissent une preuve causale contrôlée que les motifs de trajectoire sont le résultat direct de l'exposition du modèle aux données d'entraînement, et non d'artefacts de surface.
• Utilité Pratique : Le cadre offre un outil pour réévaluer la contamination des benchmarks, en particulier dans les scénarios où les méthodes de détection standard échouent en raison de la paraphrase ou de la traduction.
• Limites : Les auteurs notent que LogitTrace repose sur des étiquettes opérationnelles (car les vrais corpus d'entraînement ne sont pas disponibles) et nécessite l'accès aux représentations des couches intermédiaires, limitant son application aux modèles open-source qui n'exposent que les sorties finales. De plus, l'implémentation actuelle se concentre sur le raisonnement numérique ; son extension à des tâches ouvertes nécessiterait de nouvelles définitions de caractéristiques.