Technische Samenvatting: ORCA – Open-ended Response Correctness Assessment voor Audio

1. Probleemstelling

De evaluatie van Large Audio Language Models (LALMs) wordt momenteel gedomineerd door Multiple-Choice Question (MCQ) frameworks vanwege de eenvoud van automatisering. Echter, MCQ's slagen er niet in de nuances van werkelijk gebruik te vatten, waarbij open eind antwoorden natuurlijker zijn. Het evalueren van deze open eind responsen brengt significante uitdagingen met zich mee:

• Semantische Equivalentie: Traditionele lexicale metrieken (bijv. BLEU, F1) kunnen niet omgaan met semantisch equivalente antwoorden die verschillen in formulering.
• Subjectiviteit en Discrepantie: Audio vraag-antwoord (QA) vereist vaak subjectieve oordelen over akoestische gebeurtenissen, muzikale kenmerken of emotionele toon. Menselijke annotatoren zijn het vaak oneens over de juistheid van antwoorden, een fenomeen dat in klassieke benaderingen vaak als ruis wordt behandeld.
• Evaluatiekosten: Bestaande model-gebaseerde evaluatoren (LLM-judges) lijden vaak onder hoge computationele kosten, prompt-gevoeligheid en een gebrek aan kalibratie. Bovendien creëert het gebruik van audio-modellen om audio-modellen te beoordelen een circulaire afhankelijkheid.

Het paper betoogt dat annotatoren-discrepantie vaak een reflectie is van genuante ambiguïteit in de data in plaats van louter ruis, en dat huidige evaluatiemetrieken er niet in slagen deze distributionele informatie te modelleren, waardoor ze niet in staat zijn problematische benchmark-items te identificeren.

2. Methodologie

2.1 ORCA Framework

De auteurs stellen ORCA (Open-ended Response Correctness Assessment) voor, een lichtgewicht, model-gebaseerd framework ontworpen om vrije antwoorden van LALMs te scoren, terwijl de variabiliteit in menselijke oordelen expliciet wordt gemodelleerd.

• Tekst-alleen Evaluatie: Om efficiëntie te waarborgen en circulaire afhankelijkheden te vermijden, evalueert ORCA antwoorden die zijn uitgebreid met tekstuele gronding (rationales) die de relevante audio-context samenvatten. Dit stelt tekst-gebaseerde modellen in staat om audio QA te beoordelen zonder ruwe audio te verwerken.
• Distributionele Modellering: In tegen plaats van standaard regressoren die een enkele gemiddelde score voorspellen, voorspelt ORCA de volledige distributie van menselijke correctheidsoordelen. Het maakt gebruik van drie likelihood functies:
  1. Beta Distributie: Modelleert ratings als een continue distributie op $[0, 1]$, waarbij variantie en consensus worden gevangen.
  2. Multinomiale Distributie: Modelleert ratings als discrete categorieën (1–5), waarbij kruis-categorie correlaties worden geleerd.
  3. Bernoulli Distributie: Een baseline die alleen het gemiddelde van de correctheid voorspelt (geen variantie).
• Architectuur: ORCA is geïnitialiseerd vanuit pre-trained tekst LLM's (bijv. OLMo-2, Gemma 3, Llama 3.2) en is gefinetuned met LoRA. Het model neemt geconcateneerde inputs van de vraag, het referentie-antwoord, de rationale en het kandidaat-antwoord, en geeft parameters uit voor de gekozen likelihood functie.

2.2 Drie-fasen Annotatie Pipeline

Om hoogwaardige trainingsdata te genereren en de kwaliteit van de benchmark te verbeteren, hebben de auteurs een driefasen-pipeline ontwikkeld:

1. Fase 1 (Generatie):
   • Rationale Generatie: Gebruikt Gemini-2.5-Flash om tekstuele rationales (rechtvaardigingen) voor referentie-antwoorden te genereren op basis van audio.
   • Kandidaat Generatie: Prompt 15 state-of-the-art LALMs om open eind responsen te genereren voor benchmark vragen.
2. Fase 2 (Annotatie & Feedback): Menselijke annotatoren beoordelen kandidaat-antwoorden (1–5 schaal) en geven gestructureerde feedback over problemen (bijv. incomplete vragen, onvoldoende rationales, incorrecte referenties). LLM-judges voeren parallelle evaluaties uit.
3. Fase 3 (Correctie): Menselijke experts beoordelen gemarkeerde instanties en implementeren correcties (het herformuleren van vragen, verbeteren van rationales, repareren van referenties) met AI-assistentie, wat zorgt voor hoogwaardige trainingsdata.

2.3 Curriculum Learning

ORCA wordt getraind met een driefasen curriculum:

• Fase 1 (s1): Synthetische data van LLM-judges op algemene QA-paren (geen rationales).
• Fase 2 (s2): Synthetische data van LLM-judges op benchmark vragen met rationales.
• Fase 3 (s3): Menselijk geannoteerde data van de verfijnde benchmarks.
  Deze aanpak verhoogt progressief de datakwaliteit en specificiteit, waardoor de afhankelijkheid van uitgebreide menselijk geannoteerde datasets wordt verminderd.

3. Belangrijkste Bijdragen

• ORCA Model: Een lichtgewicht framework dat de distributie van menselijke correctheidsoordelen voorspelt (Beta of Multinomial), wat robuuste onzekerheidskwantificatie mogelijk maakt voor open-eind audio QA.
• Annotatie Framework: Een driefasen-pipeline die menselijk oordeel, gestructureerde feedback en mens-AI correctie combineert, wat resulteert in 9.663 annotaties over 3.699 vraag-antwoord paren van 15 LALMs op drie benchmarks (MMAU, MMAR, MMAU-Pro).
• Hoogwaardige Dataset: Het proces bereikte een Krippendorff's $\alpha$ van 0.82 na filtering, wat een significante verbetering is ten opzichte van de initiële overeenkomst van 0.76 door onbetrouwbare instanties te filteren.
• Generalisatie: Uitgebreide experimenten demonstreren het vermogen van ORCA om te generaliseren naar ongeziene LALMs en ongeziene benchmarks.
• Open Release: De auteurs brengen de getrainde modellen, broncode en de gecureerde annotatie dataset uit.

4. Resultaten

4.1 Prestaties vs. LLM-Judges

ORCA-modellen (specifiek de Multinomial en Bernoulli varianten gebaseerd op Llama 3.2-3B en OLMo2-1B) presteren beter dan verschillende open-weight LLM-judge baselines en de propriëtaire Gemini 2.5 Flash in het voorspellen van gemiddelde menselijke correctheid ratings.

• Correlatie: Op de ongeziene MMAU-Pro benchmark bereikte de Llama 3.2-3B (Multinomial) ORCA een Spearman correlatie ($\rho$) van 0.8451 en een Mean Absolute Error (MAE) van 7.79%, waarmee het Gemini 2.5 Flash ($\rho=0.8389$, MAE=8.90%) verslaat.
• Efficiëntie: ORCA vereist slechts één forward pass, wat aanzienlijk lagere inferentie kosten biedt vergeleken met API-gebaseerde judges of grotere modellen zoals Gemma 3-12B.

4.2 Generalisatie

• Ongeziene LALMs: In scenario's waar ORCA wordt getest op LALMs die niet tijdens de training zijn gezien, presteert het consistent beter dan Gemini 2.5 Flash, met name op modellen met een hoge respons-variantie (bijv. Audio Reasoner).
• Ongeziene Benchmarks: ORCA generaliseert effectief naar de MMAU-Pro benchmark, die nooit in de training is gebruikt.

4.3 Onzekerheid en Discrepantie Modellering

• Variantie Correlatie: De voorspelde variantie van ORCA correleert sterk met de menselijke inter-annotator discrepantie. Dit stelt het model in staat om items te identificeren waar menselijke beoordelaars echt van mening verschillen.
• Detectie van Gemarkeerde Items: ORCA wijst significant hogere voorspellende variantie toe aan benchmark items die door menselijke reviewers zijn gemarkeerd als ambigu of problematisch (bijv. onduidelijke vragen, onvoldoende rationales) vergeleken met zuivere items. Dit demonstreert de bruikbaarheid bij het diagnosticeren van benchmark kwaliteitsproblemen.

4.4 Impact van Curriculum Learning

Ablatie studies bevestigen dat het driefasen curriculum ($s1 \to s2 \to s3$) de beste prestaties levert. Pre-training op synthetische LLM-judge data ($s1, s2$) verbetert de prestaties op menselijk geannoteerde data ($s3$) aanzienlijk vergeleken met training op enkel $s3$.

5. Betekenis en Claims

Het paper positioneert ORCA als een fundamentele stap naar de verschuiving van audio QA evaluatie van restrictieve multiple-choice paradigma's naar natuurlijke, real-world open-eind beoordelingen.

• Betrouwbaarheid: ORCA biedt een betrouwbaar, lichtgewicht alternatief voor dure LLM-judges, waarbij een hogere nauwkeurigheid wordt bereikt met lagere computationele kosten.
• Onzekerheidskwantificatie: Door de distributie van menselijke oordelen te modelleren, vangt ORCA genuante ambiguïteit in subjectieve taken op, wat eindgebruikers vertrouwen geeft via confidence scores en benchmark-makers helpt bij het identificeren en corrigeren van gebrekkige items.
• Datakwaliteit: De annotatie-pipeline zelf dient als een kwaliteitscontrole mechanisme, dat datakwaliteitsproblemen in bestaande benchmarks (MMAU, MMAR) blootlegt en corrigeert, waardoor verbeterde versies van deze datasets worden vrijgegeven.
• Schaalbaarheid: De tekst-alleen evaluatie aanpak, uitgebreid met rationales, maakt efficiënte schaling mogelijk onafhankelijk van de audio duur en voorkomt de circulariteit van audio-modellen die audio-modellen beoordelen.

De auteurs concluderen dat hoewel de Bernoulli doelstelling de hoogste absolute correlatie voor gemiddelde scores bereikt, de Multinomiale distributie het meest robuuste framework biedt door een balans te vinden tussen correctheidspredictie en het effectief modelleren van menselijke discrepantie.