Technische Samenvatting: LogitTrace

Probleemstelling

Grote Taalmodellen (LLM's) worden regelmatig geëvalueerd op uitdagende benchmarks (bijv. AIME, Math500). Een kritiek probleem is benchmarkverontreiniging, waarbij testdata of variaties daarvan voorkomen in het trainingscorpus. Dit stelt modellen in staat om uit het hoofd geleerde oplossingen te reproduceren terwijl ze lijken te redeneren, waardoor prestatie-indicatoren worden opgeblazen en de ware generalisatievermogens worden verduisterd.

Bestaande detectiemethoden vertrouwen voornamelijk op:

1. Oppervlakte-overlap: Lexicale gelijkenis of exacte voltooiingsmatches.
2. Voltooiingsgedrag: Of het model de doeltekst kan reconstrueren vanuit gedeeltelijke prompts.
3. Statistieken van de eindoutput: Perplexiteit, output-likelihood of distributieve overeenstemming.

Deze benaderingen kampen met aanzienlijke robuustheidsproblemen. Wanneer benchmark-items worden herschreven, vertaald of structureel verstoord, degraderen signalen op oppervlaktewerkzaamheid snel, waardoor verontreiniging vaak onopgemerkt blijft ondanks het ontbreken van letterlijke overlap.

Methodologie: LogitTrace

De auteurs stellen LogitTrace (Layerwise Logit Trajectories) voor, een raamwerk dat verontreiniging detecteert door de temporele dynamiek van modelbesluitvorming over netwerklagen te analyseren, in plaats van uitsluitend te vertrouwen op de eindoutput.

Kernconcept

De hypothese is dat memorisatie beïnvloedt hoe een antwoord vorm krijgt, niet alleen wat het antwoord is. Verontreinigde voorbeelden vertonen doorgaans een vroegere toewijzing aan een specifieke oplossing over de lagen heen, terwijl schone voorbeelden een meer geleidelijke ophoping van bewijs tonen.

Technische Pijplijn

1. Representatie-extractie (Logit Lens):

   • Voor een gegeven invoer $x$ worden de verborgen toestanden $h^{(\ell)}$ van het model bij elke laag $\ell$ geprojecteerd via de unembedding-matrix ($W_U$) om vocabulaire-distributies $p^{(\ell)}$ te verkrijgen.
   • Aangezien de focus ligt op numeriek redeneren, wordt de distributie beperkt tot cijfertokens ($0-9$).
   • Voor elke laag berekenen de auteurs:
     • Cijferkansen $p^{(\ell)}(d)$.
     • Cijferentropie $H^{(\ell)}$.
     • Maximale cijferkans $m^{(\ell)}$.
     • Eerste-orde temporele verschillen ($\Delta$) van deze metrieken.

2. Feature-constructie:

   • Deze metrieken vormen een multichannel-sequentietraject $X \in \mathbb{R}^{C \times T}$, waarbij $C=24$ kanalen (12 ruwe features + 12 verschilfeatures) en $T$ het aantal lagen is.
   • Dit traject vangt de evolutie van de voorkeur van het model voor specifieke cijfers op terwijl het de invoer verwerkt.

3. Detectiemodel:

   • Een lichtgewicht 1D-Convolutional Neural Network (CNN) wordt getraind om deze trajecten te classificeren als "verontreinigd" of "schoon".
   • De architectuur omvat drie convolutielagen met ReLU-activering, globale gemiddelde pooling en een binaire classifier-head.
   • De detector wordt getraind op een operationeel verontreinigingsdataset (bijv. AIME 1983–2024 als verontreinigd versus AIME 2025 als schoon) en blijft tijdens evaluatie vast.

Belangrijkste Bijdragen

1. LogitTrace-raamwerk: Introductie van een detector die verontreinigingsgerelateerde besluitdynamiek identificeert uit layerwise-logittrajecten, verdergaand dan oppervlakkige aanwijzingen.
2. Patroon van vroege toewijzing: Empirisch bewijs dat verontreinigde voorbeelden consequent een vroegere toewijzing aan antwoorden over de lagen heen tonen in vergelijking met schone voorbeelden, een signaal dat robuust blijft bij herschrijving, vertaling en verstoring.
3. Gereguleerd causaal bewijs: Validatie via LoRA-injectie-experimenten. Door modellen te fine-tunen op doelstalen met variërende LoRA-rangen, tonen de auteurs aan dat herhaalde blootstelling dezelfde trajectpatronen induceert als waargenomen bij natuurlijk verontreinigde voorbeelden, en dat de zekerheidsscores van de detector monotoon toenemen met de sterkte van de fine-tuning.

Experimentele Resultaten

De methode werd geëvalueerd op vier open-source LLM's (Qwen-2.5-7B, Qwen-2.5-Math-7B, Llama-3.1-8B, Qwen-3-8B) over vier tekstdistributies: Origineel, Herschreven, Vertaald en Verstoord.

• Robuustheid: Waar op voltooiing gebaseerde baselines (bijv. exacte match, TS-Guessing) zagen dat de detectiesnelheid voor verontreiniging onder de 20% daalde bij herschreven of vertaalde invoer, behield LogitTrace hoge detectiesnelheden (bijv. 63,1% bij herschreven Qwen-2.5-7B versus 16,7% voor baselines).
• Valse Positieven: LogitTrace verminderde valse positieven op schone stalen aanzienlijk in vergelijking met op distributie gebaseerde methoden (bijv. perplexiteit of output-distributie), die vaak schone herschreven invoer ten onrechte als verontreinigd labelden.
• Ablatiestudies:
  • Lagdiepte: Signalen treden vroeg op; het gebruik van de eerste 1/3 van de lagen leverde F1-scores van ~68% op, terwijl volledige diepte ~95% bereikte.
  • Architectuur: De 1D-CNN presteerde beter dan MLP- en Transformer-baselines, met name in het handhaven van een lage False Positive Rate (5,56% versus 16,67% voor Transformer).
• Externe Generalisatie: Bij toepassing op de wiskundesubset van MMLU (zero-shot) identificeerde LogitTrace ~95% van de stalen als "zicht-achtig". Deze groep vertoonde aanzienlijk hogere modelprestaties (Top-1 nauwkeurigheid +0,33) in vergelijking met de "niet-geziene" groep, wat suggereert dat de detector echte vertrouwdheid vastlegt.

Betekenis en Beweringen

Het artikel beweert dat LogitTrace bewijs biedt dat verder gaat dan oppervlakte-overlap en zekerheid van de eindoutput. Door de interne dynamiek van het model te analyseren, biedt het een robuuster lens voor het bestuderen van gedrag dat lijkt op memorisatie.

• Causaal verband: De LoRA-injectie-experimenten bieden gereguleerd causaal bewijs dat de trajectpatronen een direct gevolg zijn van modelblootstelling aan trainingsdata, en niet van oppervlakkige artefacten.
• Praktische bruikbaarheid: Het raamwerk biedt een hulpmiddel voor het herbeoordelen van benchmarkverontreiniging, met name in scenario's waar standaarddetectiemethoden falen door parafraseren of vertaling.
• Beperkingen: De auteurs merken op dat LogitTrace afhankelijk is van operationele labels (aangezien echte trainingscorpora niet beschikbaar zijn) en toegang vereist tot intermediaire laagrepresentaties, wat de toepassing beperkt tot gesloten bronmodellen die alleen eindoutput blootleggen. Bovendien richt de huidige implementatie zich op numeriek redeneren; uitbreiding naar open-ended taken zou nieuwe feature-definities vereisen.