Technische Samenvatting: Cross-Linguale Sturing voor Generatie van Figuurlijk Taalgebruik

Probleemstelling

Meertalige Large Language Models (LLM's) vertonen het vermogen om figuurlijk taalgebruik (bijv. metaforen, idiomen, ironie) in diverse talen te genereren. Het blijft echter onduidelijk of de interne neurale signalen die dit gedrag aansturen strikt taalspecifiek zijn of of ze bruikbare, cross-linguale componenten bevatten. Het onderscheid tussen deze mogelijkheden is cruciaal voor het begrijpen van de mate van gedeelde semantische representaties in meertalige modellen buiten oppervlakkige vocabulaire en syntaxis om. Specifiek onderzoekt dit artikel of sturingsrichtingen afgeleid van de verschillen in activatie tussen figuurlijk en letterlijk taalgebruik in de ene taal, effectief een vergelijkbare figuurlijke generatie in een andere doeltaal kunnen induceren zonder hertraining of fine-tuning.

Methodologie

De auteurs maken gebruik van activatie-sturing (activation steering) als een interventie-gebaseerde probe om de draagbaarheid van figurale taalrepresentaties te testen. De experimentele pijplijn bestaat uit drie hoofdfasen:

1. Vectorconstructie:

   • Contrastive Activation Addition (CAA): Voor een brontaal $g$ en een specifieke figurale categorie $c$, construeren de auteurs een sturingsvector $\hat{v}^{(l)}_{g,c}$ door het genormaliseerde verschil te berekenen tussen de gemiddelde verborgen-toestand activaties van figurale voorbeelden ($D^+_{g,c}$) en letterlijke voorbeelden ($D^-_{g}$) op een specifieke transformer-laag $l$.
   • Data: De studie maakt gebruik van gebalanceerde sets van maximaal 500 figurale voorbeelden en 500 monolinguale letterlijke bijschriften (bijv. COCO-captions) per taal-categorie-instelling.
   • Talen & Categorieën: Experimenten bestrijken zes talen (Engels, Chinees, Bengaals, Spaans, Italiaans, Duits) en vijf figurale categorieën (idioom, metafoor, vergelijking/simile, ironie, sarcasme).

2. Interventie:

   • Tijdens de prefill-fase van de generatie wordt de sturingsvector toegevoegd aan de residual stream op de geselecteerde laag voor elke prompt-token positie: $h^{(l)'}_t = h^{(l)}_t + \alpha \hat{v}^{(l)}_{g,c}$.
   • De interventiekracht $\alpha$ is vastgesteld op 1.0.
   • Monolinguale Sturing: Vectoren worden toegepast op prompts in dezelfde taal als waaruit ze zijn afgeleid.
   • Zero-Shot Cross-Linguale Transfer: Vectoren afgeleid van een brontaal (bijv. Chinees) worden toegepast op prompts in een andere doeltaal (bijv. Engels) om de overdraagbaarheid te testen.

3. Geometrische Interventies:

   • Aggregatie van Taalgemiddelden: De auteurs synthetiseren een centrale cross-linguale richting door de genormaliseerde vectoren van meerdere bron-talen te middelen (zowel inclusief als exclusief de doeltaal, bekend als Leave-Target-Out of LTO).
   • Residuele Ablatie: Om te testen of een gedeelde geometrische kern het gedrag aanstuurt, wordt het component van een native doeltal-vector dat uitlijnt met de cross-linguale aggregaat wiskundig verwijderd (eruit geprojecteerd). De prestatie van deze residuele vector wordt vervolgens geëvalueerd.

4. Evaluatie:

   • Target Category Rate (TCR): De proportie gegenereerde voortzettingen die het doel-figurale fenomeen vertonen, geëvalueerd met DeepSeek-v4-flash als LLM-as-a-judge.
   • Coherentie: Een score van 0–4 voor contextuele relevantie en logische consistentie.
   • Statistische Analyse: Gepaard gaande procentpuntverschillen worden gerapporteerd met 95% bootstrap betrouwbaarheidsintervallen en aangepaste McNemar $q$-waarden.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

1. Effectieve Monolinguale Sturing: In monolinguale settings verhogen sturingsvectoren consequent de Target Category Rate (TCR) vergeleken met ongestuurde baselines en willekeurige vector-controles. Dit effect is waargenomen in 74 van de 96 settings, met de hoogste robuustheid voor structurele figuren van taal zoals metafoor en vergelijking.
2. Zero-Shot Cross-Linguale Draagbaarheid: Bron-taal vectoren sturen de doel-taal generatie succesvol aan in 369 van de 416 zero-shot settings. Opvallend genoeg evenaren of overtreffen de vectoren afgeleid van andere talen in verschillende gevallen zelfs de prestaties van vectoren die direct uit de doeltaal zijn afgeleid. Duits wordt geïdentificeerd als een bijzonder ontvankelijke doeltaal, terwijl Bengaals een sterke bron-capaciteit vertoont maar een zwakke receptiviteit.
3. Een Gedeelde Geometrische Basis voor Transfer:
   • Aggregatie: Gesynthetiseerde cross-linguale aggregaten (specifiek de Leave-Target-Out mean) wedijveren systematisch met of presteren beter dan native-taal sturingsvectoren.
   • Ablatie: Het verwijderen van de gedeelde cross-linguale component uit native vectoren (residuele ablatie) vermindert de figurale generatiecapaciteiten drastisch. Dit geeft aan dat overdraagbare sturing afhangt van een gemeenschappelijke, herbruikbare representationele component in plaats van taalspecifieke artefacten.

Resultaten

• Categorie-afhankelijkheid: De overdraagbaarheid van sturingssignalen varieert aanzienlijk per categorie. Metafoor en vergelijking vertonen de meest robuuste cross-linguale transfer, waarbij de metafoor een gemiddelde winst van +17,2 procentpunt over alle routes laat zien. In contrast hiermee vertonen sarcasme en ironie, die sterk leunen op pragmatische context en culturele nuance, een zwakkere overdraagbaarheid en zijn zij meer resistent tegen cross-linguale sturing.
• Asymmetrie: Cross-linguale transfer is asymmetrisch. Terwijl sommige talen (zoals Duits) zeer ontvankelijk zijn voor externe sturingssignalen, zijn andere talen (zo zoals Bengaals) slechte doel-talen ondanks dat zij krachtige bronnen zijn. Dit suggereert dat het vermogen om een figuraal signaal te ontvangen wordt beperkt door de generatieve priors van de doeltaal.
• Geometrie versus Native Prestaties: De "Leave-Target-Out" (LTO) aggregaat vectoren, die volledig zijn geconstrueerd zonder data uit de doeltaal, bereiken TCR's die functioneel vergelijkbaar zijn met native vectoren in de overgrote meerderheid van de scenario's (85%–98% van de geteste settings).
• Coherentie: Het gebruik van gedeelde cross-linguale geometrie brengt geen extra coherentie-boetes met zich mee vergeleken met native sturing. Echter, het ableren van het gedeelde signaal zorgt ervoor dat het model terugvalt naar zijn hoog-coherente, ongestuurde standaardtoestand, wat bevestigt dat het verlies in figurale generatie niet te wijten is aan incoherentie, maar aan het verwijderen van het specifieke sturingssignaal.

Betekenis en Claims

Het artikel claimt direct bewijs te leveren dat meertalige LLM's complexe figurale intentie organiseren via een herbruikbaar maar doel-afhankelijk cross-linguaal signaal.

• Gedeelde Representatie: De bevindingen suggeren dat de interne mechanismen voor het genereren van bepaalde soorten figurale taal (met name structurele figuren zoals metaforen) niet geïsoleerd zijn tot specifieke talen, maar geworteld zijn in een gedeelde, taal-agnostische geometrische kern binnen de representatieruimte van het model.
• Gedragsafhankelijkheid: De studie stelt vast dat hoewel het signaal herbruikbaar is, de effectiviteit van het toepassen ervan strikt afhankelijk is van de generatieve capaciteit van de doeltaal. Het model kan conceptueel figurale intentie over talen heen organiseren, maar de succesvolle projectie van deze intentie wordt beperkt door de geleerde priors van de doeltaal.
• Implicaties voor Controle: Deze resultaten tonen aan dat cross-linguale sturing een levensvatbaar mechanisme is voor het controleren van fijnmazig gedrag in meertalige modellen, wat een structurele basis biedt voor alignment en controle die de individuele taalgrenzen overstijgt.

De auteurs houden een bescheiden standpunt en merken op dat hun bevindingen reflecteren op gedragspatronen die observeerbaar zijn onder de huidige beschikbaarheid van data, en dat het volledig ontrafelen van categorie-specifieke representaties van constructie-variantie een belangrijke richting voor toekomstig werk blijft. Ze wijzen ook op beperkingen met betrekking tot de schaarste aan parallelle datasets voor bepaalde categorieën (bijv. vergelijking) en de uitdagingen bij het evalueren van pragmatische categorieën zoals sarcasme in zinsvoortzettingen.