Technische Samenvatting: NORA – Het evalueren van gegrond evenredig redeneren in visuele eerste-persoons normatieve actie-redenering

Probleemstelling

De huidige evaluaties van Large Language Models (LLM's) en Vision-Language Models (VLM's) met betrekking tot normatieve competentie—specifiek het vermogen om sociale normen en praktische redenen voor actie in real-world omgevingen te navigeren—zijn ontoereikend. Bestaande benchmarks vertrouwen doorgaans op twee gebrekkige paradigma's:

1. Tekst-gebaseerde morele oordeelsvorming: Het beoordelen van modellen op expliciet beschreven tekstuele casussen, wat faalt in het testen van het vermogen om relevante kenmerken te isoleren uit visueel bewijs.
2. Multiple-Choice Vragen (MCQ's): Zelfs in visuele settings (bijv. EGONORMIA) krijgen modellen een vast menu van opties gepresenteerd. Deze aanpak test het matchen van antwoorden in plaats van het vermogen om vanaf nul een evenredige actieruimte te construeren.

Het artikel stelt dat deze methoden aan de "oordeelskant" van de kloof tussen weten en doen blijven staan. In de praktijk moeten agenten normatief relevante kenmerken identificeren uit eerste-persoons video, hierover redeneren, en een gerechtvaardigde actie genereren zonder een vooraf gedefinieerde lijst van kandidaten. Huidige modellen falen vaak in het construeren van de volledige ruimte van evenredige alternatieven en in het koppelen van geselecteerde acties aan de juiste lokale ondersteuning (feiten en redenen).

Methodologie: De NORA Benchmark

De auteurs introduceren NORA (Normative Reasoning in Action), een benchmark die is ontworpen om gegronde evenredigheid (grounded reasonableness) te evalueren. Dit concept wordt gedefinieerd als het vermogen van een model om saillante scène-feiten te identificeren, redenen vóór of tegen kandidaat-acties te representeren, en een actie te selecteren die door die redenen wordt ondersteund binnen een sociaal gesitueerde context.

Constructie van de Dataset

NORA is gebouwd op clips uit de Ego4D dataset, geannoteerd onder door filosofen beoordeelde instructies. De dataset bestaat uit 1.420 geannoteerde videoclips, verdeeld in twee niveaus:

• HUMANGOLD-190: Een set van 190 clips die door menselijke annotatoren is geverifieerd.
• LLMSILVER-1230: Een set van 1.230 clips die door LLM's (GPT-5.4 en Gemini-3.1-Pro) is gevalideerd tegen de menselijke gouden standaard om schaalbaarheid te garanderen.

Annotatieschema:
Elke clip is geannoteerd als een gestructureerd besluitvormingsprobleem volgens drie principes:

1. Eerste-persoons perspectief: Strikt gegrond in het visuele bewijs dat in de scène beschikbaar is.
2. Feit–Reden–Actie volgorde: Annotaties leggen zichtbare feiten, op feiten gebaseerde redenen en op redenen gebaseerde kandidaat-acties vast in een strikte sequentie, waarbij post-hoc rechtvaardiging wordt vermeden.
3. Evenredige-actie pluralisme: Meerdere acties kunnen evenredig zijn indien zij gegrond zijn in zichtbaar bewijs en worden ondersteund door redenen die niet worden weerlegd door sterkere contextuele overwegingen.

Annotaties worden gerepresenteerd als actie-gewortelde ondersteuningsgrafen ($G = \{G_a : a \in A\}$), waarbij randen lokale ondersteuningsrelaties coderen ($f \to r \to a$).

Evaluatieprotocol

De evaluatie meet gegronde evenredigheid door de output van modellen te vergelijken met de referentie-ondersteuningsgrafen. De metriek is opgedeeld in drie componenten:

1. Actie-alignement ($Q_A$): Semantisch herstel van kandidaat-volgende acties.
2. Feitelijke gronding ($Q_F$): Herstel van zichtbare scène-feiten.
3. Ondersteuningsbinding ($Q_S$): Of feiten en redenen correct zijn gekoppeld aan de passende acties.

De primaire geaggregeerde metriek is het meetkundig gemiddelde van deze drie componenten: $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$. Dit zorgt ervoor dat een model niet een hoge score kan behalen door enkel een plausibele actie te genereren als het faalt in het funderen ervan in feiten of het koppelen ervan aan de juiste redenen.

Prompting Regimes:
De studie evalueert 12 VLM's onder drie verschillende prompting-condities om verschillende niveaus van rechtvaardiging te testen:

• Direct (Simpel): Vraagt om een volgende actie met minimale uitleg (simuleert deployment).
• Deliberatief (Medium): Vereist een vrije analyse van kandidaat-acties en redenen voordat de selectie plaatsvindt.
• Gestructureerd (Complex): Vraagt expliciet om een feit–reden–actie schema, wat nauw aansluit bij het annotatieformaat van de benchmark.

Belangrijkste Bijdragen

1. NORA Benchmark: Een visuele eerste-persoons video benchmark die modellen vereist om kandidaat-acties te genereren en deze te rechtvaardigen via expliciete ondersteuningsgrafen, waarmee verder wordt gegaan dan MCQ's.
2. Gegronde Evenredigheidsmetriek: Een evaluatieprotocol dat onderscheid maakt tussen het herstellen van een brede ruimte van evenredige acties en het committeren aan een enkele goed ondersteunde actie, gebruikmakend van set-niveau en gekozen-actie metrieken.
3. Empirische Analyse: Een uitgebreide benchmarking van 12 state-of-the-art VLM's (inclusief GPT-5.x, Gemini, Qwen en Grok families) die specifieke foutmodi in normatieve redenering blootlegt.

Resultaten

Het benchmarken van 12 VLM's onthult dat hoewel huidige modellen vaak plausibele acties en relevante scène-feiten kunnen herstellen, zij consequent worstelen met de volledige taak van gegronde evenredigheid:

• Prestatiekloof: Frontier-modellen (GPT-5.2, GPT-5.1) behalen de hoogste scores ($R \approx 0.38$ onder Gestructureerde prompting) maar blijven significant onder de annotatie-referentie-plafond (GPT-5.4 bereikt $R \approx 0.558$).
• Componentanalyse: Feitelijke gronding is doorgaans de sterkste component, terwijl actie-alignement (het herstellen van de volledige ruimte van evenredige acties) de zwakste component is. Modellen beschrijven de scène vaak correct, maar falen in het construeren van de passende set van kandidaat-volgende acties.
• Effect van Prompting: Gestructureerde prompting verbetert over het algemeen de prestaties voor modellen met een hoge capaciteit (bijv. GPT-5.2, Gemini-3-Flash) door scaffolding te bieden, maar kan een beperking zijn voor andere modellen. Echter, op het niveau van de gekozen actie, verbetert gestructureerde prompting consistent de uiteindelijke beslissing en de lokale gronding ervan vergeleken met deliberatieve prompting.
• Set versus Keuze: Er is een sterke correlatie tussen set-niveau evenredigheid en gekozen-actie evenredigheid, maar het zijn onderscheidende capaciteiten. Het selecteren van één plausibele actie is gemakkelijker dan het herstellen van de volledige ruimte van evenredige acties.

Betekenis en Beperkingen

Het artikel beweert dat NORA de evaluatievraag verschuift van "Kan een model een actie kiezen?" naar "Kan een model een passende actie rechtvaardigen op basis van de juiste zichtbare redenen?". Het biedt een meetbare kloof in het vermogen van huidige VLM's om gesitueerde normatieve redenering uit te voeren, waarbij het benadrukt dat huidige systemen vaak niet in staat zijn om adequate optiesets te construeren en deze te koppelen aan lokale bewijslast.

Beperkingen erkend door de auteurs:

• Annotatie-pluralisme: Menselijke annotaties zijn noodzakelijkerwijs onvolledige steekproeven van de ruimte van evenredige acties; meerdere geldige interpretaties bestaan.
• Vergelijkende Scoring: Scores voor gegronde evenredigheid zijn bedoeld voor comparatieve diagnose in plaats van absolute maten van normatieve competentie.
• Bias: De benchmark kan reflecties bevatten van bias uit de bronvideo-distributie (Ego4D), de pool van annotatoren en de specifieke gebruikte normatieve categorieën.

De auteurs positioneren NORA zowel als een evaluatiekader als een potentieel trainingssignaal voor belichaamde agenten die evenredig moeten handelen in sociale omgevingen, waarbij zij benadrukken dat de huidige state-of-the-art aanzienlijke ruimte heeft voor verbetering om de kloof tussen weten en doen te overbruggen.