Sintesi Tecnica: NORA – Valutazione della Ragionevolezza Radicata nel Ragionamento Normativo Visivo in Prima Persona

Definizione del Problema

Le attuali valutazioni dei Large Language Models (LLM) e dei Vision-Language Models (VLM) riguardo alla competenza normativa — specificamente la capacità di navigare le norme sociali e le ragioni pratiche dell'agire in ambienti reali — sono insufficienti. I benchmark esistenti si basano tipicamente su due paradigmi difettosi:

1. Giudizio morale solo testuale: Valutare i modelli su casi descritti esplicitamente tramite testo, il che non permette di testare la capacità di isolare le caratteristiche rilevanti dall'evidenza visiva.
2. Domande a Scelta Multipla (MCQ): Anche in contesti visivi (es. EGONORMIA), i modelli gli vengono presentati un menu fisso di opzioni. Questo approccio testa l'abbinamento della risposta piuttosto che la capacità di costruire da zero uno spazio di azioni ragionevoli.

Il documento sostiene che questi metodi rimangano sul "lato del giudizio" del divario tra sapere e fare (knowing–doing gap). In pratica, gli agenti devono identificare caratteristiche normativamente rilevanti da un video in prima persona, ragionare su di esse e generare un'azione giustificata senza una lista predefinita di candidati. Gli attuali modelli spesso falliscono nel costruire l'intero spazio delle alternative ragionevoli o nel vincolare le azioni selezionate al corretto supporto locale (fatti e ragioni).

Metodologia: Il Benchmark NORA

Gli autori introducono NORA (Normative Reasoning in Action), un benchmark progettato per valutare la ragionevolezza radicata (grounded reasonableness). Questo concetto è definito come la capacità di un modello di identificare fatti salienti della scena, rappresentare ragioni a favore o contro potenziali azioni e selezionare un'azione supportata da tali ragioni all'interno di un contesto socialmente situato.

Costruzione del Dataset

NORA è costruito su clip del dataset Ego4D, annotate secondo istruzioni revisionate da filosofi. Il dataset comprende 1.420 clip annotate divise in due livelli:

• HUMANGOLD-190: Un set di 190 clip verificate da annotatori umani.
• LLMSILVER-1230: Un set di 1.230 clip validate da LLM (GPT-5.4 e Gemini-3.1-Pro) rispetto allo standard aureo umano per garantirne la scala.

Schema di Annotazione:
Ogni clip è annotata come un problema decisionale strutturato seguendo tre principi:

1. Prospettiva in prima persona: Radicata strettamente nell'evidenza visiva disponibile nella scena.
2. Ordine Fatto–Ragione–Azione: Le annotazioni registrano fatti visibili, ragioni basate sui fatti e azioni candidate basate sulle ragioni in una sequenza rigorosa, evitando la giustificazione post-hoc.
3. Pluralismo dell'azione ragionevole: Molteplici azioni possono essere ragionevoli se radicate nell'evidenza visibile e supportate da ragioni che non siano sconfitte da considerazioni contestuali più forti.

Le annotazioni sono rappresentate come grafi di supporto radicati sull'azione ($G = \{G_a : a \in A\}$), dove gli archi codificano le relazioni di supporto locale ($f \to r \to a$).

Protocollo di Valutazione

La valutazione misura la ragionevolezza radicata confrontando gli output del modello con i grafi di supporto di riferimento. La metrica si decompone in tre componenti:

1. Allineamento dell'Azione ($Q_A$): Recupero semantico delle azioni successive candidate.
2. Radicamento Fattuale ($Q_F$): Recupero dei fatti visibili della scena.
3. Vincolo del Supporto ($Q_S$): Se i fatti e le ragioni sono correttamente vincolati alle rispettive azioni.

La metrica aggregata primaria è la media geometrica di queste tre componenti: $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$. Ciò garantisce che un modello non possa ottenere un punteggio elevato generando semplicemente un'azione plausibile se fallisce nel radicarla nei fatti o nel vincolarla alle corrette ragioni.

Regimi di Prompting:
Lo studio valuta 12 VLM sotto tre distinte condizioni di prompting per testare diversi livelli di giustificazione:

• Diretto (Semplice): Chiede un'azione successiva con una spiegazione minima (simulando il deployment).
• Deliberato (Medio): Richiede un'analisi di forma libera delle azioni candidate e delle ragioni prima della selezione.
• Strutturato (Complesso): Richiede esplicitamente uno schema fatto–ragione–azione, allineandosi strettamente al formato di annotazione del benchmark.

Contributi Chiave

1. Benchmark NORA: Un benchmark visivo in prima persona che richiede ai modelli di generare azioni candidate e giustificarle tramite espliciti grafi di supporto, andando oltre le MCQ.
2. Metrica della Ragionevolezza Radicata: Un protocollo di valutazione che distingue tra il recupero di un ampio spazio di azioni ragionevoli e l'impegno verso un'unica azione ben supportata, utilizzando metriche a livello di insieme (set-level) e di azione scelta (chosen-action).
3. Analisi Empirica: Un benchmarking completo di 12 VLM allo stato dell'arte (inclusi i familiari GPT-5.x, Gemini, Qwen e Grok) che rivela specifici modi di fallimento nel ragionamento normativo.

Risultati

Il benchmarking di 12 VLM rivela che, sebbene gli attuali modelli possano spesso recuperare azioni plausibili e fatti rilevanti della scena, faticano costantemente con l'intero compito della ragionevolezza radicata:

• Gap di Performance: I modelli di frontiera (GPT-5.2, GPT-5.1) ottengono i punteggi più alti ($R \approx 0.38$ sotto prompting Strutturato) ma rimangono significativamente al di sotto del tetto di riferimento delle annotazioni (GPT-5.4 raggiunge $R \approx 0.558$).
• Analisi delle Componenti: Il radicamento fattuale è tipicamente la componente più forte, mentre l'allineamento dell'azione (il recupero dell'intero spazio di azioni ragionevoli) è la più debole. I modelli spesso descrivono correttamente la scena ma falliscono nel costruire l'appropriato insieme di azioni successive candidate.
• Effetti del Prompting: Il prompting Strutturato generalmente migliora le prestazioni per i modelli ad alta capacità (es. GPT-5.2, Gemini-3-Flash) fornendo uno scaffolding, ma può rappresentare un limite per altri modelli. Tuttavia, a livello di azione scelta, il prompting strutturato migliora costantemente la decisione finale e il suo radicamento locale rispetto al prompting deliberativo.
• Insieme vs Scelta: Esiste una forte correlazione tra la ragionevolezza a livello di insieme e la ragionevolezza dell'azione scelta, ma esse sono capacità distinte. Selezionare un'azione plausibile è più facile che recuperare l'intero spazio di azioni ragionevoli.

Significato e Limitazioni

Il paper sostiene che NORA sposti la domanda di valutazione da "Un modello può scegliere un'azione?" a "Un modello può giustificare un'azione appropriata per le giuste ragioni visibili?". Fornisce una misura misurabile del gap attuale nei VLM nella capacità di eseguire un ragionamento normativo situato, evidenziando come i sistemi attuali spesso manchino della capacità di costruire set di opzioni adeguati e di vincolarli all'evidenza locale.

Limitazioni riconosciute dagli autori:

• Pluralismo dell'Annotazione: Le annotazioni umane sono necessariamente campioni incompleti dello spazio delle azioni ragionevoli; esistono molteplici interpretazioni valide.
• Punteggio Comparativo: I punteggi di ragionevolezza radicata sono intesi per la diagnosi comparativa piuttosto che come misure assolute di competenza normativa.
• Bias: Il benchmark può riflettere bias derivanti dalla distribuzione dei video sorgente (Ego4D), dal pool di annotatori e dalle specifiche categorie normative utilizzate.

Gli autori posizionano NORA sia come un framework di valutazione che come un potenziale segnale di addestramento per agenti incarnati (embodied agents) che devono agire ragionevolmente in ambienti sociali, sottolineando che lo stato dell'arte attuale ha un ampio margine di miglioramento per colmare il divario tra sapere e fare.