Technische Samenvatting: MERA Multi – Een Multimodaal Evaluatiekader voor Russisch-talige Architecturen

Probleemstelling

Multimodale Large Language Models (MLLM's) ontwikkelen zich snel, maar hun capaciteiten, beperkingen en risico's worden nog onvoldoende begrepen, met name in de context van de Russische taal. Bestaande benchmarks richten zich voornamelijk op het Engels en algemene domeinen (bijv. MultiBench, MMBench), waarbij de linguïstische en culturele nuances van Slavische talen worden verwaarloosd. Russisch presenteert specifieke uitdagingen vanwege het Cyrillische schrift, de rijke culturele context (bijv. folklore, Sovjet-media) en de morfologische complexiteit, wat directe vertaling van Engelstalige benchmarks ontoereikend maakt. Bovendien bestaan er weliswaar tekstgebaseerde Russische benchmarks (bijv. Russian SuperGLUE, MERA), maar er is een kritiek gat in multimodale evaluatiekaders die beeld-, audio- en videomodaliteiten dekken.

Methodologie

De auteurs introduceren MERA Multi, het eerste open multimodale evaluatiekader dat specifiek is ontworpen voor Russisch-gesproken architecturen. Het kader is instructiegebaseerd en omvat vier modaliteiten: standaard tekst, beeld, audio en video.

1. Benchmarkstructuur en Data

• Omvang: De benchmark bestaat uit 18 evaluatietaken verdeeld over 11 beelddatasets, 4 audiodatasets en 3 videodatasets.
• Datacompositie: Om reproduceerbaarheid en nieuwheid te balanceren, integreert de benchmark 7 taken uit publiek beschikbare open-source datasets en 11 taken die vanaf nul zijn geconstrueerd. De private datasets zijn ontworpen om Russische culturele specificiteiten te incorporeren, onderbelichte vaardigheidscategorieën te targeten en datacontaminatie te mitigeren.
• Taakformaten: Taken worden geformuleerd als ofwel meerkeuzevragen (MC) of open vragen die korte, vrije antwoorden vereisen.
• Taxonomie: De evaluatie is geworteld in een uniforme taxonomie van multimodale vermogens, gecategoriseerd in drie brede cognitieve groepen: Kennis (algemeen, domein, expert), Perceptie (fijnmazig enkelvoudig/cross-instance, cross-modale uitlijning) en Redeneren (inductief, deductief, abductief, kwantitatief).

2. Evaluatiepipeline

• Promptingstrategie: Het kader maakt gebruik van een block-prompting schema om universele prompts te construeren. In plaats van taakspecifieke prompts hard te coderen, gebruikt het een set van 10 vooraf gedefinieerde prompt-blokken (bijv. attention hooks, redeneerverzoeken, antwoordformaten) om consistentie te waarborgen terwijl gecontroleerde variatie mogelijk wordt gemaakt om benchmark-verzadiging te voorkomen. Statistische analyse bevestigt dat de formulering van de prompt de modelscores significant beïnvloedt, wat het gebruik van meerdere prompt-varianten rechtvaardigt.
• Scoremetrieken:
  • Exact Match (EM): Een generatieve analogon van nauwkeurigheid met behulp van genormaliseerde stringvergelijking.
  • Judge Score (JS): Een semantische gelijkenismetriek berekend met behulp van een toegewijd LLM-as-a-judge model (gebaseerd op RuModernBERT). Dit model is getraind op menselijk geannoteerde data om semantische equivalentie te beoordelen, waarbij een 0,96 F1-score en 99,6% overeenstemming met EM op identieke antwoorden wordt bereikt.
  • Eindscore: De taakscore is het gemiddelde van EM en JS.
• Aggregatie: De Totale Score combineert de Attempted Score (kwaliteit op taken die het model heeft geprobeerd) en Coverage (breedte van de benchmark die is geprobeerd). Deze aanpak maakt een eerlijke rangschikking mogelijk zonder willekeurige nullen toe te kennen aan ontbrekende modaliteiten.
• Databescherming: Om benchmark-lekken te voorkomen, maken de auteurs gebruik van data watermarking (met behulp van AudioSeal voor audio en visuele overlays voor afbeeldingen/video) en een Multimodal Semantic Membership Inference Attack (MSMIA) detector om te identificen of modellen zijn getraind op de benchmark-data.

Belangrijkste Bijdragen

1. Uniforme Taxonomie: Een voorgestelde taxonomie en evaluatiemethodologie die specifiek is ontworpen voor MLLM-beoordeling, met dekking van kennis, perceptie en redeneren over modaliteiten heen.
2. Nieuwe Datasets: De creatie van 18 datasets, waarvan er veel vanaf nul zijn gebouwd, met inbedding van Russische culturele en linguïstische specificiteiten, uniforme prompts en metrieken.
3. Baseline Resultaten: Uitgebreide baseline-prestatieresultaten voor meer dan 50 publiekelijk beschikbare modellen (variërend van 1B tot 110B parameters) en propriëtaire modellen (GPT-4.1), die zowel open- als closed-source architecturen dekken.
4. Lekkagebescherming: Een robuuste methodologie voor data-lekkenanalyse en watermarking om private evaluatie-datasets te beschermen, wat de validiteit van toekomstige evaluaties waarborgt.
5. Infrastructuur: Een gestandaardiseerde codebase voor reproduceerbaarheid en een indieningsplatform met automatische scoring en een publieke leaderboard.

Resultaten

De evaluatie van meer dan 50 modellen onthult verschillende trends:

• Modaliteitsverschillen: Er blijft een aanzienlijk gat bestaan tussen de modaliteiten. Hoewel begrip van afbeeldingen relatief volwassen is, zijn audio- en video-begrip ondervertegenwoordigd in termen van zowel modelcapaciteiten als datasetdekking, wat wordt weerspiegeld in lagere scores.
• Omni-modellen vs. Specialisten: Omni-modellen (bijv. Qwen3-Omni-30B, Qwen2.5-Omni-7B) behalen over het algemeen hogere Totale Scores door bredere dekking, zelfs als hun per-modaliteit scores niet de absoluut hoogste zijn. Specialistische modellen (bijv. Ultravox voor audio, LLaVA-NeXT-Video voor video) tonen vaak sterke prestaties in hun specifieke domein, maar lijden onder lage coverage-scores.
• Top Performers: De top performer, Qwen3-Omni-30B-A3B-Instruct, behaalde een Totale Score van 0,5, gedreven door een hoge Attempted Score (0,563) en Coverage (0,889). GPT-4.1 leidde in de beeldmodaliteit maar had een lagere Totale Score (0,159) door een lage coverage (0,333).
• Metrische Discrepantie: Bij de meeste modellen is de Judge Score (JS) hoger dan de Exact Match (EM), wat aangeeft dat modellen vaak semantisch correcte antwoorden produceren die strikte output-formatteringinstructies schenden.

Betekenis

Het artikel positioneert MERA Multi als het eerste uitgebreide kader voor transparante en cultureel gewortelde multimodale evaluatie in het Russisch. De betekenis ligt in:

• Het vullen van een kritiek gat: Het adresseren van de afwezigheid van multimodale benchmarks voor Russisch, een belangrijke Slavische taal.
• Methodologisch Blauwdruk: Het bieden van een reproduceerbare methodologie voor het construeren van multimodale benchmarks in typologisch diverse talen, met name binnen de Slavische familie, waar directe vertaling van Engelse benchmarks onvoldoende is.
• Fundament voor de Gemeenschap: Het leggen van een fundament voor transparante evaluatiepraktijken, het stimuleren van bijdragen van de gemeenschap en het bevorderen van de ontwikkeling van cultureel bewuste multimodale modellen voor niet-Engelse talen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de 18 taken niet alle modelcapaciteiten of gespecialiseerde domeinen kunnen dekken, en dat inferentie-resultaten kunnen variëren op basis van de hardware-softwarestack. Ze merken ook op dat het huidige werk zich richt op semantische vermogens en niet expliciet de model-biases naar ondervertegenwoordigde minderheden evalueert, wat zij identificeren als een richting voor toekomstig werk.