Technische Samenvatting: Training-vrije versus Training-gebaseerde Intent Classificatie in LLM's

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in routing-architecturen waarbij een intentie-classifier de intentie van een gebruiker identificeert (bijv. wiskunde, programmeren of algemene tekst) om prompts naar gespecialiseerde downstream-modellen of tools te sturen. Deze routing verbetert de efficiëntie en betrouwbaarheid, maar vereist een robuuste classifier. Bestaande benaderingen kampen met een afruil: directe LLM-aanroepen zijn flexibel maar computationeel duur en moeilijk te kalibreren voor onzekerheid; toegewijde supervised classifiers (bijv. gefinetunede BERT of MLP's) bieden sterke prestaties, maar vereisen uitgebreide trainingsdata, computationele middelen en hertraining wanneer de labelruimte van de intentie evolueert.

Dit werk adresseert de vraag welke type intentie-classifier optimaal is door een systematische vergelijking uit te voeren tussen training-vrije methoden (die geen gradiënt-updates vereisen) en training-gebaseerde methoden (die een supervised training van een classifier-kop vereisen) over verschillende LLM-schalen en taakgranulariteiten.

Methodologie

De studie evalueert twee categorieën lichtgewicht intentie-classifiers die opereren op neurale kenmerken geëxtraheerd tijdens de prefill-fase van de LLM (voordat de autoregressieve decodering begint).

1. Training-vrije Methoden: Statistische Compressie

De auteurs introduceren twee statistische methoden, VecStat en NormStat, die volledig opereren op de outputs van de prefill-fase zonder de LLM te modificeren of gradiënt-updates uit te voeren. Beide methoden vergelijken de statistieken van de interne representaties van een prompt met vooraf berekende per-klasse baselines afgeleid van kalibratiedata.

• VecStat (Vector Statistic): Behoudt coördinaat-wijze directionele informatie. Het berekent het gemiddelde ($S_{vec}$) en de variantie ($Q_{vec}$) van de token-features over alle tokens en coördinaten. Het maakt gebruik van een diagonale Gaussische surrogaatdistributie om de KL-divergentie (of cosinus-gelijkenis) te berekenen tussen de statistieken van de prompt en de klasse-baselines.
• NormStat (Norm Statistic): Een sterk gecomprimeerde variant die uitsluitend vertrouwt op radiale informatie. Het aggregeert de normen van token-features ($\|y_t\|$) over alle tokens en coördinaten om een scalaire gemiddelde ($S_{norm}$) en variantie ($Q_{norm}$) te berekenen. Het gebruikt een univariate Gaussische surrogaat voor scoring.

Theoretische Analyse:
Het paper biedt een theoretische analyse in een Gaussische setting om de afruilen te verklaren:

• Expressiviteit: NormStat is invariant voor orthogonale transformaties en faalt wanneer klasse-scheiding puur directioneel is (bijv. verschillende programmeertalen die dezelfde "code"-domein delen). VecStat behoudt directionele informatie en is Bayes-optimaal in dergelijke regimes.
• Kalibratiekosten: NormStat biedt een dimensie-vrije convergentiesnelheid ($O(1/\sqrt{N})$), waardoor er minder kalibratiesamples nodig zijn om een doel-foutbereik te bereiken. De convergentie van VecStat is dimensie-afhankelijk ($O(\sqrt{d/N})$), wat meer samples vereist naarmate de verborgen dimensie $d$ toeneemt.

2. Training-gebaseerde Methoden

Voor vergelijking implementeren de auteurs standaard supervised classifiers getraind op bevroren LLM-features:

• MLP Classifiers: Twee-laagse Multi-Layer Perceptrons (Avg-MLP en Tail-MLP) toegepast op respectievelijk het gemiddelde van de token-features of de laatste token-feature.
• Linear Probes: Een eenvoudige lineaire projectie (Avg-Linear) toegepast op het gemiddelde van de token-features.

Belangrijkste Bijdragen

1. Introductie van NormStat en VecStat: De auteurs stellen twee lichtgewicht, prefill-tijd statistische methoden voor intentie-classificatie voor. Ze bieden theoretische garanties die verklaren wanneer elk type geprefereerd is: VecStat voor directionele scheiding en NormStat voor radiale scheiding met lagere kalibratiekosten.
2. Systematische Empirische Studie: Een uitgebreide evaluatie over zeven LLM's (variërend van 1B tot 32B parameters, inclus_ Qwen en Llama families) en zeven benchmark-datasets. De studie behandelt zowel grofmazige (bijv. Wiskunde vs. Code) als fijnmazige (bijv. Java vs. Python) classificatietaken.
3. Stress-test Frameworks: De creatie van een mixed-intent dataset (interleaving van wiskunde en code) en een adversarial prompt dataset (het maskeren van wiskundeproblemen als code-bugrapporten) om robuustheid en onzekerheidskwantificatie te evalueren.

Experimentele Resultaten

Nauwkeurigheid en Granulariteit

• Grofmazige Taken (Level-1): Bij eenvoudige taken zoals het onderscheiden tussen algemene tekst, wiskunde en code, verzadigen zowel training-vrije als training-gebaseerde methoden de benchmarks en bereiken ze een bijna perfecte nauwkeurigheid.
• Fijnmazige Taken (Level-2): Bij moeilijkere taken, zoals het onderscheiden tussen specifieke programmeertalen of wiskundige subgebieden, presteren training-gebaseerde methoden (MLP's) consistent beter dan training-vrije methoden. Specifiek degradeert NormStat aanzienlijk bij binnen-domein discriminatie (bijv. programmeertalen) waar directionele informatie cruciaal is, terwijl VecStat beter presteert maar nog steeds achterblijft bij getrainde MLP's.

Robuustheid en Onzekerheid

• Mixed-Intent Prompts: Training-vrije methoden, met name VecStat, bieden superieure onzekerheidsschattingen voor prompts met gemengde intenties (bijv. 50% wiskunde, 50% code). Ze volgen de mengverhouding nauwkeuriger dan training-gebaseerde methoden, die de neiging hebben overmoedig of ongevoelig te zijn voor de volgorde van de prompt.
• Adversarial Robuustheid: Wanneer prompts adversarieel worden geherformuleerd om misleidende oppervlaktekenmerken te injecteren (bijv. een wiskundeprobleem presenteren als een code-bugrapport), zijn training-vrije methoden aanzienlijk robuuster dan training-gebaseerde MLP's. Terwijl MLP's scherpe nauwkeurigheidsdalingen vertonen (vaak tot bijna nul op moeilijke adversariële niveaus), behouden training-vrije methoden een niet-triviale nauwkeurigheid. De auteurs schrijven dit toe aan het feit dat training-gebaseerde classifiers onderscheidende grenzen leren van token-distributies die gemakkelijk verschuiven onder adversariële herformulering, terwijl statistische methoden vertrouwen op stabielere geaggregeerde eigenschappen.

Computationele Efficiëntie

• Overhead: NormStat is de meest lichtgewicht methode, waarbij $O(m)$ opslag en $O(m)$ scoring FLOPs vereist zijn. VecStat vereist $O(md)$ opslag en FLOPs. Beiden zijn verwaarloosbaar vergeleken met de LLM prefill kosten ($O(Td^2)$).
• Kalibratie: Training-vrije methoden vermijden de opslagoverhead van het cachen van embeddings voor hertraining. Het toevoegen van een nieuwe klasse vereist enkel het berekenen van nieuwe statistieken, terwijl training-gebaseerde methoden hertraining of het cachen van grote embedding-sets vereisen.

Betekenis en Claims

Het paper concludeert dat er geen one-size-fits-all methode bestaat voor intentie-classificatie. De keuze hangt af van de specifieke implementatierestricties:

• Training-gebaseerde methoden zijn superieur voor fijnmazige onderscheidingen waar een hoge nauwkeurigheid essentieel is en de labelruimte statisch is.
• Training-vrije methoden (VecStat/NormStat) zijn te prefereren voor grofmazige routing, dynamische labelruimtes (frequente toevoeging/verwijdering van klassen) en ruisgevoelige of ambigue omgevingen. Ze bieden een unieke combinatie van computationele efficiëntie, gemakkelijke kalibratie en robuustheid tegen adversariële herformuleringen en ambiguïteit in gemengde intenties.

De auteurs benadrukken dat hun training-vrije methoden bijzonder aantrekkelijk zijn voor praktische LLM routing-scenario's waar inputs vaak ruis bevatten, ambigu zijn of waar het systeem snel moet kunnen adapteren aan nieuwe domeinen zonder de computationele last van hertraining.