Language steering in latent space to mitigate unintended code-switching

Probleemstelling

Meertalige Large Language Models (LLM's) vertonen vaak het fenomeen van onbedoelde code-switching. Dit betekent dat het model, ondanks expliciete instructies om in één specifieke taal te antwoorden, tokens genereert in andere talen. Dit gedrag ondermijnt de betrouwbaarheid van het model in downstream-toepassingen (bijvoorbeeld klantenservice-chatbots die midden in een Spaans antwoord plotseling naar het Engels switchen). Bestaande oplossingen zijn vaak kostbaar, omdat ze fijnafstemming (fine-tuning) vereisen, of introduceren latentie door ingrepen tijdens het decoderingsproces.

Methodologie: Latent Space Language Steering

De auteurs stellen een lichtgewicht methode voor die tijdens de inferentie (inference-time) werkt zonder het model opnieuw te trainen. De kern van de aanpak is het manipuleren van de representaties in de latente ruimte van het model.

1. Identificatie van Taalrichtingen:

   • Het team gebruikt een parallelle corpus (vertalingen van dezelfde concepten in verschillende talen) om de interne representaties van het LLM te analyseren.
   • Door Hoofdcomponentenanalyse (PCA) toe te passen op de verborgen staten (hidden states) van de laatste token van zinnen, identificeren ze lineaire subruimtes die talen van elkaar scheiden.
   • De eerste hoofdcomponent (PC1) blijkt de dominante variatiebron te zijn die de taalidentiteit vastlegt, terwijl de semantiek behouden blijft.

2. Steering (Sturing) in de Latente Ruimte:

   • De methode past alleen sturing toe op de laatste lagen van het model, waar de taalidentiteit het meest geconcentreerd is (zoals aangetoond door de analyse van de laag-voor-laag evolutie).
   • Voor elke token tijdens het generatieproces wordt de verborgen staat $h_t$ gemodificeerd door de component langs de taalrichting $v$ te verwijderen of te versterken:
     $$\tilde{h}_t = h_t - s (h_t \cdot v) v$$
     Hierbij is $s$ een stuurcoëfficiënt. Als $s=1$ is, wordt de taalcomponent exact orthogonaal geprojecteerd (verwijderd). Waarden $|s| > 1$ duwen de representatie actief weg van de bron-taalsrichting om de bias te overwinnen.
   • Dit vereist slechts één scalair product en één vectoraftrekking per token, wat een verwaarloosbare rekentijd toevoegt.

3. Validatie:

   • Een eenvoudige logistische regressie-classificator, getraind op de projecties van de eerste hoofdcomponent, wordt gebruikt om de taalidentiteit te voorspellen.

Belangrijkste Bijdragen

• Efficiënte Stuurmethode: Een goedkope, inferentie-tijd methode die geen fine-tuning vereist en slechts minimale parallelle data nodig heeft voor kalibratie.
• Empirische Validatie: Uitgebreide tests op twee populaire open-source modellen (Qwen2.5-1.5B en Llama-3.2-1B) over meerdere taalkoppels (Engels, Spaans, Russisch, Chinees, Hindi).
• Bijna Perfecte Classificatie: Bewijs dat taalidentiteit lineair toegankelijk is in de laatste lagen, met een classificatie-accuratie van 95-99% op basis van slechts één hoofdcomponent.
• Geometrisch Inzicht: Demonstratie dat taalidentiteit in meertalige LLM's clusteren in de laatste lagen, terwijl de vroege lagen zich richten op semantiek, wat suggereert dat deze subruimtes orthogonaal zijn.
• Open Source: Code en data zijn vrijgegeven om verder onderzoek te faciliteren.

Resultaten

De experimenten tonen aanzienlijke verbeteringen aan op zowel distributieve als generatieve niveaus:

• Distributieve Analyse:

  • De methode vermindert de divergentie in de volgende-token-verdeling (gemeten via KL-divergentie) met 25-55% ten opzichte van een ongecontroleerde baseline.
  • De toename in cosinus-similariteit en overlap van de top-50 tokens met de Engelse baseline bevestigt dat de model-output dichter bij de gewenste taal komt.
  • Taalkoppels met grote typologische verschillen (bijv. Engels-Chinees) tonen de beste resultaten.

• Generatieve Evaluatie (Llama-3.2):

  • Er is een 63–99% reductie in de "Code-Switching Index" (CSI) waargenomen in gegenereerde teksten.
  • De "Target Language Consistency" (TLC) stijgt aanzienlijk (bijv. van 0,36 naar 0,97 voor Engels-Chinees).
  • Alle resultaten zijn statistisch significant ($p < 0.001$).

• Kwalitatieve Observaties:

  • Hoewel de methode code-switching effectief elimineert, is er een afweging (trade-off) tussen controle en vloeiendheid. Aggressieve stuurcoëfficiënten (hoge absolute waarden) kunnen leiden tot repetitieve of gedegenereerde output (bijv. "first year of the first year...").
  • De optimale coëfficiënten zijn kwetsbaar; kleine veranderingen kunnen het gedrag van vloeiend naar repetitief laten omslaan.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat taalidentiteit in meertalige LLM's een expliciete, lineair scheidbare structuur heeft die kan worden gemanipuleerd zonder het model te herschrijven. Dit biedt een veelbelovende, lichtgewicht alternatief voor kostbare fine-tuning-methoden voor meertalige controle.

Beperkingen en Toekomstig Werk:

• De huidige tests zijn beperkt tot kleine modellen (1-1,5B parameters); de schaalbaarheid naar grotere modellen is onbekend.
• De methode vereist handmatige grid-search voor het vinden van optimale coëfficiënten per taalkoppel.
• Er is nog geen evaluatie op natuurlijk voorkomende code-switching (de huidige testdata is kunstmatig gegenereerd).
• Toekomstige richtingen omvatten meertalige sturing (controle van drie of meer talen tegelijk) en bidirectionele sturing, wat haalbaar lijkt gezien de geometrische structuur van de PCA-kaarten.

Samenvattend biedt deze paper een krachtig bewijs dat taalcontrole in LLM's kan worden bereikt door het exploiteren van de geometrische eigenschappen van de latente ruimte, met minimale rekenkosten en hoge effectiviteit.