Technische Samenvatting: ADAGE – Een Taal-Agnostische Pipeline voor de Evaluatie van Analoog Redeneren

1. Probleemstelling

Huidige meertalige evaluaties van redeneervermogen leunen overweldigend op het machinaal vertalen van Engelstalige benchmarks. De auteurs stellen dat deze praktijk een "illusie van meertalige competentie" creëert door twee fundamentele gebreken:

1. Linguïstische Artefacten: Machinale vertaling introduceert onnatuurlijke formuleringen ("translationese") en subtiele fouten die de meting verstoren, waardoor modelprestaties die falen eerder een gevolg zijn van slechte vertaling dan van slecht redeneren.
2. Culturele Verplaatsing: Vertaling behoudt de culturele aannames van de brontekst terwijl de redeneerpatronen van de doeltaal verloren gaan. Abstract analoog redeneren, met name bij spreekwoorden, steunt op cultureel gedeelde metaforen en normen die niet overdraagbaar zijn. Bijgevolg testen op vertaling gebaseerde benchmarks het vermogen van een model om Engelstalige analogieën toe te passen in een andere taal, in plaats van het vermogen om binnen een ander cultureel kader te redeneren.

Bestaande native-gecreëerde benchmarks (bijv. MultiNRC, Jawaher, ProverbEval) pakken dit gat aan, maar lijden onder het feit dat ze ad hoc zijn geconstrueerd voor specifieke talen zonder een reproduceerbare pipeline, en de meeste testen spreekwoordelijke uitleg (kennisretentie) in plaats van analogische toepassing (het mappen van abstracte betekenis naar nieuwe scenario's).

2. Methodologie: De ADAGE-pipeline

De auteurs introduceren ADAGE (Analogical Difficulty-by-design Assessment for Grounded Evaluation), een taal-agnostische, semi-synthetische pipeline die is ontworpen voor het construeren van cultureel gewortelde redeneerbenchmarks zonder gebruik van vertaling. De pipeline werkt in zeven stadia:

1. Data-acquisitie: Normalisatie en deduplicatie van een native corpus van spreekwoorden.
2. Thematische Clustering:
   • Pass 1: Een LLM wijst beknopte Engelse thema-labels toe aan elk spreekwoord op basis van de native verklaringen. Engels wordt gebruikt als een intermediaire doeltaal om gebruik te maken van sterkere instructie-opvolgingscapaciteiten.
   • Pass 2: Thema-labels worden geëmbed via een meertalige sentence-transformer en gegroepeerd via agglomeratieve clustering (Ward's linkage). Het aantal clusters ($k$) wordt geoptimaliseerd om de gewogen silhouette-coëfficiënt te maximaliseren.
   • Pass 3: Clusters krijgen beschrijvende namen toegewezen.
   • Ontwerp-ratio: Clustering op abstracte thema-labels in plaats van ruwe tekst voorkomt oppervlakkige lexicale gelijkenissen, wat zorgt voor thematisch coherente groepen.
3. Scenario-generatie: Een LLM (GPT-OSS-120B) genereert 10 kandidaat-scenario's per spreekwoord. Dit zijn korte, moderne narratieven in de doeltaal die de betekenis van het spreekwoord illustreren via analogieën over 10 roterende sociale domeinen (bijv. werkplek, familie, politiek).
4. Geautomatiseerde Filtering: Scenario's worden gefilterd op basis van taalidentificatie, lengte, trefwoordoverlap (om lexicale lekkage te voorkomen) en embedding-gelijkenis met het spreekwoord.
5. Menselijke Kwaliteitscontrole: Een lichte controle door native speakers bevestigt de coherentie en culturele geschiktheid.
6. Selectie van Afleiders & MCQ-assemblage: Een nieuwe afleider-strategie construeert een gecontroleerde moeilijkheidsgraad voor elk meerkeuzevraag (MCQ):
   • Same-Cluster Afleider: Een spreekwoord uit hetzelfde thematische cluster (valstrik van thematische verwarring).
   • Cross-Theme Near-Match: Het spreekwoord uit een ander cluster met de hoogste embedding-gelijkenis (valstrikken voor modellen die vertrouwen op oppervlakkige gelijkenis).
   • Random-Cluster Afleider: Een spreekwoord uit een verafgelegen cluster (baseline plausibiliteit).
   • Kandidaten met een hoge embedding-gelijkenis (>0.85) worden uitgesloten om bijna-synoniemen te voorkomen.
7. Multi-Agent Validatie: Drie open-weight LLM-judges evalueren items op getrouwheid, natuurlijkheid en de plausibiliteit van afleiders met behulp van een 1–5 Likert-schaal. Items worden gemarkeerd als de scores onder bepaalde drempelwaarden vallen of als de overeenstemming tussen de judges laag is.
8. Dataset Curatie: Definitieve train/dev/test-splits worden gemaakt op het niveau van het spreekwoord om memorisatie van spreekwoord-thema-associaties te voorkomen.

3. Belangrijkste Bijdragen

1. ADAGE Pipeline: Een reproduceerbare, taal-agnostische methodologie voor het construeren van cultureel gewortelde redeneerbenchmarks, gevalideerd over drie typologisch diverse talen.
2. Drie Nieuwe Benchmarks: De release van CAPR-ar (Arabisch), CAPR-am (Amhaars) en CAPR-ja (Japans). Dit zijn de eerste benchmarks die zich richten op abstracte analogische spreekwoordelijke redenering in deze specifieke talen.
3. Empirisch Bewijs van een Culturele Redeneergap: Een demonstratie dat vertaling-gebaseerde evaluatie de meertalige redeneervermogens aanzienlijk overschat.

4. Experimentele Resultaten

De pipeline werd gevalideerd door benchmarks te construeren voor Arabisch, Amhaars en Japans, en door 14 open-weight modellen (variërend van 270M tot 35B parameters) te evalueren onder zero-shot condities.

• Prestatiedaling: Modellen die goed presteren op Engels spreekwoordelijk redeneren (ePiC benchmark), hadden aanzienlijke moeite met de native benchmarks. De nauwkeurigheid daalde met 12–52 procentpunten ten opzichte van het Engels.
  • Arabisch: Het beste model (Gemma 3 27B) behaalde 70,1% (vs. 83,0% op Engels).
  • Amhaars: Het beste model behaalde slechts 41,3% (vs. 25% kans), wat duidt op een echte falende prestatie in een low-resource setting.
  • Japans: Het beste model behaalde 93,0%, hoewel de auteurs opmerken dat dit beïnvloed kan zijn door een hoge pretraining-dekking en cross-linguale cognaten.
• Schaalgedrag:
  • Arabisch: Toonde log-lineaire schaalvoordelen met de modelgrootte.
  • Japans: Toonde afnemende meeropbrengsten; schalen leverde winst op, maar vlakte af.
  • Amhaars: Schaleffecten verdwenen grotendeels; modellen clusterden rond de kansverdeling ongeacht de grootte, wat suggereert dat er een probleem is met de taalcompetentie in plaats van de redeneercapaciteit.
• Afleider-analyse: De strategie voor afleiders functioneerde zoals bedoeld. Op Arabisch en Japans trokken "cross-theme near-match" afleiders de hoogste foutpercentages aan, wat een duidelijke moeilijkheidsgraad creëerde. Op Amhaars was de verdeling vlak, consistent met willekeurige gokken.
• Positieve Bias: Kleine modellen (bijv. Gemma 3 270M) vertoonden een ernstige positie-bias (selectie van optie D in 89,6% van de gevallen), terwijl grotere modellen (>4B) uniforme verdelingen vertoonden.

5. Betekenis en Claims

Het artikel claimt dat ADAGE de eerste methodologie biedt die native sprekersgemeenschappen in staat stelt om rigoureuze, moeilijkheidsgecontroleerde redeneerbenchmarks te construeren zonder vertalinfrastructuur.

De primaire betekenis van het werk is de onthulling van een consistente culturele redeneergap. De auteurs stellen dat "meertalige" prestaties niet één enkele capaciteit zijn, maar een composiet van taal-specifieke competenties die orders van grootte kunnen verschillen. Specifiek:

• Vertaling-gebaseerde evaluatie maskeert het feit dat modellen vaak niet over de taalcompetentie beschikken om deel te nemen aan cultureel gewortelde taken in low-resource settings (zoals blijkt uit de Amhaarse resultaten).
• Zelfs in high-resource settings (Arabisch) falen modellen om redeneervermogen te transfereren van het Engels naar native contexten, wat suggereert dat huidige modellen vertrouwen op Engels-centrische heuristieken in plaats van robuust, cultuur-onafhankelijk redeneren.
• De kloof wordt niet alleen gedicht door parameter-scaling; de samenstelling van de trainingsdata (bijv. de gerichte meertalige training van Aya Expanse) lijkt even cruciaal als de modelgrootte.

De auteurs concluderen dat evaluatie-door-vertaling de meertalige redeneervermogens substantieel overschat en dat native, vertaling-vrije benchmarks noodzakelijk zijn om het vermogen van een model om binnen verschillende culturele schema's te redeneren accuraat te beoordelen.