How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

Technische Samenvatting: Hoe ver generaliseren auto-interpretatie labels?

Probleemstelling
Sparse autoencoders (SAEs) zijn een standaardinstrument geworden voor de interpretatie van taalmodellen (LMs) door dichte activaties te ontleden in ijle, menselijk interpreteerbare kenmerken (features). Omdat modellen veel meer kenmerken bevatten dan handmatig geïnspecteerd kunnen worden, vertrouwen beoefenaars op auto-interpretatie labels: natuurlijke taalbeschrijvingen gegenereerd door een LLM op basis van de meest activerende voorbeelden van een kenmerk.

Het centrale probleem dat wordt geadresseerd is de generaliseerbaarheid van deze labels. Een label dat een concept beschrijft (bijv. "misleiding" of "gewelddadige inhoud") impliceert dat het kenmerk dat concept universeel volgt. Het blijft echter onduidelijk of een kenmerk dat gelabeld is voor een concept in het Engels, ook daadwerkelijk datzelfde concept detecteert in verschillende talen, schriften en formuleringen. Als het gedrag van een kenmerk sterk afhankelijk is van de specifieke oppervlaktevorm van de input (bijv. Engelse tekst) in plaats van het onderliggende semantische concept, kan het label misleidend zijn voor veiligheidsaudits of modelsturing in meertalige contexten.

Methodologie
De auteurs construeren een gecontroleerd factorieel evaluatieparadigma met behulp van Servisch digrafie als testbed. Servisch wordt van nature geschreven in zowel het Latijnse als het Cyrillische schrift, die verbonden zijn door deterministische, verliesloze transliteratie. Dit stelt onderzoekers in staat om het schrift te variëren terwijl taal, bewoording en betekenis constant blijven.

De studie maakt gebruik van:

• Dataset: 300 zinnen uit de FLORES+ devtest-split, variërend van nieuws, instructies en reisverslagen.
• Varianten: Elke zin verschijnt in vier vormen: Engels (Latijn), Servisch (Latijn), Servisch (Cyrillisch) en Russisch (Cyrillisch).
• Condities: Voor elke variant worden drie condities getest:
  1. Origineel: De professionele vertaling of de transliteratie daarvan.
  2. Parafrase: Een betekenisbehoudende herschrijving met een variërende oppervlaktevorm.
  3. Willekeurig: Een ongerelateerde zin van vergelijkbare lengte in dezelfde taal/schrift.
• Modellen & SAEs: De primaire analyse gebruikt Gemma-3-27B met Gemma Scope 2 SAEs (16k dictionary breedte, JumpReLU activatie). Resultaten worden gevalideerd over verschillende modelgroottes (1B, 12B) en architecturen (Llama-3.1-8B met Llama Scope SAEs).
• Evaluatiemetrieken:
  • Feature Overlap: Gemeten via de Jaccard-gelijkenis van actieve feature-sets over lagen heen om te bepalen of kenmerken abstracte betekenis coderen.
  • Auto-interpretatie Falsificatie: Kenmerken worden geselecteerd als ze zowel vuren op Engelse originalen als op Russische paraphrases (bevestiging van cross-linguale semantische tracking). Hun auto-gegenereerde labels (van Neuronpedia, gebruikmakend van Claude Sonnet en Gemini) worden vervolgens getest tegen Servische Latijnse en Cyrillische versies. Een "miss" (fout) treedt op als een met inhoud gelabeld kenmerk faalt om te activeren op dezelfde betekenis in een ander schrift/taal.

Belangrijkste Bevindingen

1. SAE-kenmerken coderen abstracte betekenis:
   De studie bevestigt dat SAE-kenmerken daadwerkelijk semantische inhoud coderen die standhoudt bij veranderingen in schrift, taal en bewoording.

   • Schrift-invariantie: Het translitereren tussen Servisch Latijn en Cyrillisch behoudt een hoge mate van feature-overlap (gemiddelde Jaccard 0,73).
   • Cross-linguale Semantische Kenmerken: Kenmerken die geactiveerd worden door dezelfde inhoud in het Engels en Russisch (verschillend in schrift, taal en bewoording) vertonen substantiële overlap (piek Jaccard 0,57), wat significant hoger is dan de willekeurige baselines (0,13). Dit bewijst dat cross-linguale semantische kenmerken bestaan en het labelen waard zijn.

2. Auto-interpretatie labels falen systematisch bij minder vertegenwoordigde vormen:
   Ondanks het bestaan van semantische kenmerken, voorspellen de auto-gegenereerde labels het gedrag van kenmerken niet accuraat over alle vormen heen.

   • Miss Rates: Met inhoud gelabelde kenmerken missen dezelfde betekenis in het Servisch tot wel 4× vaker dan binnen het Engels. Bijvoorbeeld, op laag 53 is de miss rate voor Engelse paraphrases 7,3%, terwijl de gemiddelde miss rate voor het Servisch 30,1% is.
   • Schrift-asymmetrie: Zelfs tussen de twee Servische schriften (die deterministische transliteraties van elkaar zijn), missen kenmerken Servisch Cyrillisch vaker dan Servisch Latijn. De Cyrillisch-naar-Latijn miss ratio groeit met de netwerkdiepte en bereikt 1,35× in de laatste laag.
   • Correlatie met Trainingsdistributie: Deze fouten komen overeen met de geschatte dekking van de trainingsdata. Engels is dominant in de pretraining corpora, Russisch is rijk aan bronnen maar minder dominant, en Servisch (met name Cyrillisch) is zeldzaam. De betrouwbaarheid van de kenmerken van het model degradeert naarmate de representatie van de inputvorm in de trainingsdata afneemt.

3. Diepte-afhankelijke Divergentie:
   De kloof in betrouwbaarheid wordt groter naarmate de netwerkdiepte toeneemt. Terwijl de betrouwbaarheid binnen de taal (Engels) in diepere lagen stabiel blijft of verbetert, degradeert de cross-linguale betrouwbaarheid (Servisch). Dit suggge得上 dat diepere lagen representaties nauwer koppelen aan specifieke inputvormen in plaats van aan abstracte concepten.

4. Onzichtbaarheid van Falen:
   Cruciaal is dat de auto-interpretatie labels zelf geen indicatie geven van deze fouten. Een label zoals "Olympische atleten" lijkt accuraat op basis van de top-activaties van het kenmerk (waarschijnlijk Engelse voorbeelden), maar faalt in het voorspellen van de stilte van het kenmerk bij hetzelfde concept in het Servisch Cyrillisch.

Betekenis en Claims
Het artikel claimt dat auto-interpretatie labels niet moeten worden begrepen als garanties over een concept in het algemeen, maar als claims over het gedrag van een kenmerk op de best vertegenwoordigde inputs.

• Beperkingen van Huidige Tools: Beoefenaars die vertrouwen op deze labels voor veiligheidsaudits of modelsturing kunnen worden misleid. Een kenmerk dat gelabeld is voor een veiligheidskritisch concept, kan dit detecteren in het Engels, maar kan er niet in staat om te triggeren in het Servisch Cyrillisch, waardoor schadelijke inhoud onopgemerkt blijft.
• Gegradeerd Falen: Het falen is niet binair (hoog- versus laag-resource), maar gegradeerd, correlerend met de frequentie van het specifieke schrift/taal in de trainingsdata.
• Methodologische Bijdrage: De studie biedt een gecontroleerde, factoriële evaluatiesuite (vrijgegeven met het paper) die script, taal, bewoording en betekenis isoleert, en biedt een robuuste methode voor toekomstig werk om de generaliseerbaarheid van interpretatietools te testen.

De auteurs concluderen dat hoewel SAE's erin slagen semantische kenmerken te extraheren, de huidige auto-interpretatie pipelines niet het tempo bijhouden van de complexiteit van meertalige generalisatie, wat een "blind spot" creëert waar labels lokaal accuraat maar globaal onbetrouwbaar zijn.