Technische Samenvatting: STEEREVAL – Inference-time Interventies voor Multilinguale Neurale Samenvattingsmetrieken

Probleemstelling

De evaluatie van Natural Language Generation (NLG) taken, met name samenvatting (summarization), kampt met een significante flessenhals in meertalige omgevingen. Hoewel metrieken zoals BLEU en ROUGE automatische evaluatie mogelijk maakten, neigen recente trends naar modelgebaseerde metrieken (bijv. BERTScore, COMET) en Large Language Models (LLMs) als beoordelaars vanwege hun sterkere correlatie met menselijke oordelen. Echter, empirische studies wijzen uit dat deze meertalige metrieken vaak slecht correleren met menselijke oordelen over diverse talen heen.

De auteurs hypothetiseren dat deze prestatiekloof voortkomt uit de interne architectuur van meertalige LLM's, die frequent Engels gebruiken als een "pivottaal" voor verwerking. Wanneer een model een taal met weinig middelen (low-resource language) verwerkt, kunnen de interne representaties mislijnen met deze Engelse pivot, wat leidt tot gedegradeerde downstream-prestaties. Deze mislijning, eerder gelinkt aan problemen in machinevertaling, wordt hier voorgesteld als een grondoorzaak voor de matige prestaties van metrieken bij niet-Engelse samenvattingsevaluatie.

Methodologie

Het paper stelt STEEREVAL voor, een framework dat inference-time interventies toepast om de interne activaties van neurale metrieken te "sturen" (steeren) richting een Engelse pivot. Deze aanpak vereist geen hertraining van het model. De methodologie omvat twee primaire interventietechnieken die tijdens de inferentie worden toegepast:

1. Vector-gebaseerde Interventie: Gebaseerd op de lineaire representatiehypothese, berekenen de auteurs een sturendector die de richting representeert van een bron-taal ($h_s$) naar Engels ($h_t$) met behulp van parallelle data (FLORES-dataset).

   • De vector wordt berekend als het verschil tussen de gemiddelde representaties van de doel- en bron-taal: $\bar{h}_v = \bar{h}_t - \bar{h}_s$.
   • Tijdens de inferentie wordt deze vector toegevoegd aan de activaties van het model: $h^{mix}_{q,l} = h_s + \rho \bar{h}_v$, waarbij $\rho$ de stuurkracht regelt.

2. Map-gebaseerde Interventie: Geïnspireerd door recent werk op het gebied van cross-linguale generatie, leert deze methode een lineaire mappingmatrix $W_l$ die de representaties van de bron-taal projecteert in de doel-taalruimte.

   • De mapping wordt geleerd door de afstand tussen bron- en doel-representaties op parallelle data te minimaliseren.
   • Tijdens de inferentie wordt de bron-representatie geprojecteerd en gemengd met de originele: $h^{mix}_{q,l} = (1 - \sigma)h_s + \sigma \hat{h}_t$, waarbij $\sigma$ de mate van afwijking regelt.

De auteurs evalueren deze interventies op twee soorten metrieken:

• LLM-as-a-Judge: Direct prompting (score 1–5) en GPTScore (gebruikmakend van conditionele generatie-waarschijnlijkheden). Geteste modellen zijn Llama-3-8B, Bloom-7B, en Aya-Expanse (8B en 32B).
• Encoder-gebaseerde Metriek: COMET (specifiek het wmt22-comet-da model), dat doorgaans wordt gebruikt voor machinevertaling maar hier is aangepast voor samenvatting.

De evaluatie wordt uitgevoerd op een meta-evaluatie dataset die acht typologisch diverse talen beslaat (Arabisch, Spaans, Hebreeuws, Japans, Turks, Oekraïens, Yoruba, Chinees) met menselijke oordelen over coherentie en volledigheid.

Belangrijkste Resultaten

De studie toont aan dat het sturen van activaties naar een Engelse pivot consequent de correlatie tussen neurale metrieken en menselijke oordelen verbetert:

• Algemene Verbetering: Sturende methoden (zowel Vector als Map) verbeteren bijna altijd de correlatie ten opzien van de ongestuurde baselines. In veel gevallen, met name waar de baseline-prestaties laag waren, oversteeg de relatieve verbetering ($\Delta\%$) de 100%, wat effectief de correlatie verdubbelde.
• Impact op Talen met Weinig Middelen: Talen met een zwakkere baseline-prestatie (bijv. Hebreeuws, Turks, Yoruba) profiteerden het meest van het sturen. Bijvoorbeeld, de directe prompting van Bloom-7B op Japanse coherentie verbeterde van een bijna nul-correlatie naar 0,18 na het sturen.
• Metriek-specificiteit:
  • COMET: Toonde een hoge responsiviteit op het sturen, met grote verbeteringen over bijna alle talen en dimensies.
  • Direct Prompting: Vertoonde zeer variabel gedrag. Hoewel de relatieve winsten vaak spectaculair waren, traden deze vaak op wanneer de baseline-correlaties nabij nul lagen, wat resulteerde in bescheiden absolute correlaties.
  • GPTScore: Profiteerde matig van het sturen, met afnemende meeropbrengsten wanneer de baseline-correlaties al sterk waren.
• Vector vs. Map: Vector-sturing leverde over het algemeen grotere winsten op dan Map-gebaseerde sturing, met name voor COMET en laag-presterende taal-metriek paren. Echter, de optimale stuurkracht ($\rho$ of $\sigma$) varieerde aanzienlijk per taal, wat suggereert dat een enkele globale parameter suboptimaal is.
• Pivottaal: Experimenten met Frans als alternatieve pivottaal resulteerden eveneens in significante verbeteringen, wat de hypothese ondersteunt dat het sturen naar een hoog-resource, goed uitgelijnde taal de prestaties verbetert.

Belangrijkste Bijdragen

1. Activation Steering voor Metrieken: Het paper introduceert en valideert de toepassing van activation steering technieken voor meertalige samenvattingsmetrieken. Dit is de eerste exploratie van steering voor encoder-gebaseerde metrieken (zoals COMET) en toont consistente verbeteringen voor LLM-gebaseerde evaluatoren.
2. Meertalige Meta-analyse: De auteurs bieden een uitgebreide meta-analyse van modelgebaseerde samenvattingsmetrieken over acht diverse talen, waarbij de inconsistentie van huidige LLM-as-a-judge benaderingen in niet-Engelse settings wordt belicht.
3. Cross-linguale Vector Gelijkenis: De studie meet empirisch de gelijkenis van taal-naar-Engels sturende vectoren over verschillende lagen. Het vindt dat deze vectoren grotende_els vergelijkbaar zijn over talen heen (behalve voor uitschieters zoals Yoruba), wat eerdere werken over de gedeelde geometrie van taalrepresentaties bevestigt.

Betekenis en Claims

Het paper claimt dat de interne afhankelijkheid van meertalige LLM's van Engels als pivot een kritieke factor is die de betrouwbaarheid van automatische evaluatie in andere talen beperkt. Door deze mislijning expliciet te corrigeren tijdens de inferentie, biedt STEEREVAL een praktische, zonder training benadering om de prestaties van metrieken te verbeteren.

De auteurs positioneren dit werk als een stap naar het benutten van model-interne inzichten voor praktische evaluatiescenario's. Ze merken op dat hoewel hun focus op samenvatting ligt, de bevindingen suggereren dat sturen een generaliseerbare strategie kan zijn voor het verbeteren van de meertalige generalisatie in neurale metrieken. Het paper blijft bescheiden over toekomstige implicaties en suggereert dat toekomstig werk de mogelijkheid kan onderzoeken om taal-specifieke en dimensie-specifieke interventies te combineren, maar stelt geen specifieke nieuwe toepassingen voor buiten de scope van metriek-evaluatie.