Technische Samenvatting: Large Language Models coderen semantiek en alignment in lineair scheidbare representaties

Probleemstelling

Hoewel Large Language Models (LLMs) bekwaamheid hebben getoond in diverse semantische domeinen en alignment-taken, blijven de interne mechanismen waarmee zij deze kennis organiseren en coderen opaak. Specifiek is het onduidelijk in welke mate LLMs representaties organiseren en coderen met betrekking tot hoogwaardige semantische begrip (bijv. verschillende wetenschappelijke disciplines) en gedragseigenschappen (bijv. instructie-opvolging, veiligheidsalignment). Voorgaand werk heeft zich grotendeels gericht op smalle lexicale kenmerken of binaire gedragseigenschappen, waardoor er een gat is ontstaan in het begrip van hoe samengestelde, hoogwaardige semantische inhoud en alignment-gedragingen geometrisch gestructureerd zijn binnen de latente ruimte van autoregressieve modellen.

Methodologie

De auteurs voerden een grootschalige empirische studie uit waarbij de verborgen representaties (hidden representations) werden geanalyseerd over 11 decoder-only autoregressieve modellen (variërend van 124M tot 24B parameters) en zes hoogwaardige wetenschappelijke onderwerpen (Informatica, Economie, Elektrotechniek, Wiskunde, Natuurkunde en Statistiek).

1. Dataverzameling: De studie maakte gebruik van abstracts uit de arXiv metadata-dataset, wat zorgde voor door mensen geschreven content en een consistente structuur. Prompts werden door de modellen verwerkt, en de verborgen toestanden (hidden states) werden geëxtraheerd uit alle lagen onmiddellijk voorafgaand aan de generatie van het eerste token.
2. Analyse van Lineaire Scheidbaarheid: Het kerninstrument voor de analyse was een hard-margin Support Vector Machine (SVM). De auteurs trainden SVM's op verborgen toestanden om paren van onderwerpen te classificeren. Een hoge SVM-nauwkeurigheid geeft aan dat de representaties van de twee onderwerpen lineair scheidbare clusters vormen in de latente ruimte.
3. Robuustheidscontroles:
   • Keyword Masking: Om te bepalen of scheidbaarheid afhankelijk was van oppervlakkige trefwoorden, maskeerden de auteurs domeinspecifieke woorden op basis van frequentiedrempels (0–99%) en evalueerden de scheidbaarheid opnieuw.
   • Intrinsieke Dimensionaliteit: Singular Value Decomposition (SVD) werd gebruikt om de intrinsieke dimensionaliteit van de subruimtes die door semantische representaties worden ingenomen, te beoordelen.
4. Alignment en Instructie-opvolging:
   • Chain-of-Thought (CoT): De auteurs vergeleken de verborgen toestanden van identieke vragen met en zonder een CoT-instructie (een verschil van ~15 tokens) om te testen voor geometrische verschuivingen geïnduceerd door redeneerprompts.
   • Veiligheid: Met behulp van de WildJailbreak-dataset analyseerden de auteurs de clustering van vier prompttypen: Direct Benigne, Direct Schadelijk, Benigne Injecties (adversarieel maar veilig) en Schadelijke Injecties (jailbreaks).
5. Proof of Concept (Latent-Space Guardrail): Een lichtgewicht Multi-Layer Perceptron (MLP) probe werd getraind op de final-layer verborgen toestanden om de intentie van de prompt te classificeren (4-klasse classificatie: injectie versus direct; benigne versus schadelijk). Deze probe werd geëvalueerd tegen token-niveau verdedigingen zoals Llama Guard 3.

Belangrijkste Bijdragen en Resultaten

1. Progressieve Lineaire Scheidbaarheid van Semantische Representaties

De studie vond dat hoogwaardige semantische informatie verblijft in laagdimensionale subruimtes die lineair scheidbare representaties vormen.

• Diepteafhankelijkheid: Scheidbaarheid neemt toe met de diepte van de laag. In diepere lagen worden de representaties van verschillende domeinen (bijv. Natuurkunde versus Informatica) steeds onderscheidender, waarbij ze vaak een bijna perfecte lineaire scheidbaarheid bereiken (SVM-nauwkeurigheid benaderend 1.0).
• Robuustheid: Deze scheidbaarheid blijft bestaan, zelfs wanneer domeinspecifieke trefwoorden zwaar worden gemaskeerd (tot 50–60%), wat suggereert dat de semantische structuur verdeeld is over impliciete cues (syntaxis, discourspatronen) in plaats van geconcentreerd te zijn in specifieke lexicale items.
• Architecturale Effecten: Scheidbaarheidspatronen variëren per architectuur. Bijvoorbeeld, modellen met grouped-query attention (Mistral) of sliding-window attention (Gemma) vertonen "zaagtandpatronen" in scheidbaarheid over de lagen, wat correleert met hun specifieke attention-mechanismen.

2. Geometrische Codering van Alignment en Instructie-opvolging

De lineaire structuur strekt zich uit tot gedragseigenschappen:

• Instructie-opvolging: Prompts die Chain-of-Thought instructies bevatten, produceren verborgen representaties die lineair scheidbaar zijn van identieke prompts zonder dergelijke instructies, ondanks het minimale verschil in tokens. Dit suggereert dat de "redeneermodus" wordt gecodeerd als een distinctieve geometrische richting.
• Veiligheidsalignment: In veiligheid-gealigneerde modellen vormen benigne, schadelijke en adversariële prompts distinctieve, scheidbare clusters. Opvallend genoeg clusteren schadelijke injecties (jailbreaks) de neiging te hebben dichter bij benigne inputs dan directe schadelijke queries, wat de kwetsbaarheid van het model voor adversariële framing reflecteert.

3. Latente Ruimte Interventies

Gebouwend op deze geometrische bevindingen, trainden de auteurs een lichtgewicht MLP-probe (13.9M parameters) op de final-layer verborgen toestanden om te fungeren als een "latent-space guardrail".

• Prestaties: De guardrail bereikte een algemene nauwkeurigheid van 96,7% bij het classificeren van de intentie van de prompt.
• Vergelijking: Het presteerde aanzienlijk beter dan token-niveau verdedigingen (specifiek Llama Guard 3-8B) op adversariële prompts die oppervlakkige filters omzeilen. De latent-ruimte benadering verminderde schadelijke reacties met meer dan 2×, terwijl de bruikbaarheid voor benigne queries hoog bleef.
• Efficiëntie: In tegenstelling tot token-gebaseerde classifiers die volledige model-inferentie of een groot aantal parameters vereisen, opereert deze guardrail op verborgen toestanden vóór de generatie van tokens, wat een computationeel efficiënte, real-time veiligheidsmechanisme biedt.

Betekenis en Claims

Het paper beweert dat transformer-gebaseerde LLMs een interne geometrie ontwikkelen waarbij semantische kennis en alignment-gedragingen georganiseerd zijn langs interpreteerbare, lineaire dimensies. Dit daagt de visie uit dat deze modellen puur zwarte dozen zijn, en suggereert in plaats daarvan dat zij beschikken over "onderscheidende en interpreteerbare 'vingerafdrukken' van alignment."

De auteurs stellen dat deze bevindingen de ontwikkeling van geometrie-bewuste tools stimuleren die direct in de latente ruimte opereren. Door gebruik te maken van de inherente lineaire scheidbaarheid van verborgen toestanden, is het mogelijk om schadelijke inhoud en adversariële manipulaties te detecteren en te mitigeren zonder de modelgewichten te wijzigen of uitsluitend te vertrouwen op externe token-niveau filters. De studie dient als een proof of concept dat eenvoudige lineaire probes effectieve, lichtgewicht guardrails kunnen zijn, wat een nieuw paradigma biedt voor modelinterpreteerbaarheid en veiligheidscontrole.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• De studie is empirisch en beperkt tot geselecteerde modellen, lagen en wetenschappelijke domeinen; zij biedt geen formele theoretische garanties.
• Het causale bewijs voor sturing (bijv. het induceren van CoT-gedrag via vectortoevoeging) is voorlopig; een rigoureuzere analyse (bijv. adversariële perturbatie) is nodig.
• De veiligheidsanalyse leunt op de WildJailbreak-dataset, en de generalisatie naar andere modellen en prompt-injectie-datasets vereist verdere onderzoek.
• De studie claimt niet alle veiligheidsproblemen op te lossen, waarbij wordt opgemerkt dat toekomstig werk de mogelijkheid heeft om latent-ruimte probes te combineren met andere defensiemechanismen.