Résumé technique : NORA – Évaluer la raisonnabilité ancrée dans le raisonnement normatif d'action visuelle à la première personne

Énoncé du problème

Les évaluations actuelles des modèles de langage (LLM) et des modèles vision-langage (VLM) concernant la compétence normative — spécifiquement la capacité à naviguer dans les normes sociales et les raisons pratiques d'action dans des environnements réels — sont insuffisantes. Les benchmarks existants reposent généralement sur deux paradigmes défaillants :

1. Le jugement moral textuel uniquement : Évaluer les modèles sur des cas décrits explicitement par écrit, ce qui échoue à tester la capacité à isoler les caractéristiques pertinentes à partir de preuves visuelles.
2. Les questions à choix multiples (QCM) : Même dans des contextes visuels (ex. : EGONORMIA), les modèles sont présentés avec un menu fixe d'options. Cette approche teste l'appariement de réponses plutôt que la capacité à construire de zéro un espace d'actions raisonnables.

L'article soutient que ces méthodes restent du côté du « jugement » du fossé entre savoir et faire. En pratique, les agents doivent identifier des caractéristiques normativement pertinentes à partir de vidéos à la première personne, raisonner à leur sujet et générer une action justifiée sans liste de candidats prédéfinie. Les modèles actuels échouent souvent à construire l'espace complet des alternatives raisonnables ou à lier les actions sélectionnées au support local correct (faits et raisons).

Méthodologie : Le benchmark NORA

Les auteurs introduisent NORA (Normative Reasoning in Action), un benchmark conçu pour évaluer la raisonnabilité ancrée (grounded reasonableness). Ce concept est défini comme la capacité d'un modèle à identifier des faits saillants de la scène, à représenter des raisons pour ou contre des actions candidates, et à sélectionner une action soutenue par ces raisons dans un contexte socialement situé.

Construction du jeu de données

NORA est construit sur des clips issus du jeu de données Ego4D, annotés selon des instructions révisées par des philosophes. Le jeu de données comprend 1 420 clips annotés divisés en deux niveaux :

• HUMANGOLD-190 : Un ensemble de 190 clips vérifiés par des annotateurs humains.
• LLMSSILVER-1230 : Un ensemble de 1 230 clips validés par des LLM (GPT-5.4 et Gemini-3.1-Pro) par rapport au standard d'or humain pour assurer l'échelle.

Schéma d'annotation :
Chaque clip est annoté comme un problème de décision structuré suivant trois principes :

1. Perspective à la première personne : Ancré strictement dans les preuves visuelles disponibles dans la scène.
2. Ordre Fait–Raison–Action : Les annotations enregistrent les faits visibles, les raisons basées sur les faits et les actions candidates basées sur les raisons dans une séquence stricte, évitant toute justification a posteriori.
3. Pluralisme de l'action raisonnable : Plusieurs actions peuvent être raisonnables si elles sont ancrées dans les preuves visibles et soutenues par des raisons qui ne sont pas infirmées par des considérations contextuelles plus fortes.

Les annotations sont représentées sous forme de graphes de support ancrés dans l'action ($G = \{G_a : a \in A\}$), où les arêtes encodent les relations de support local ($f \to r \to a$).

Protocole d'évaluation

L'évaluation mesure la raisonnabilité ancrée en comparant les sorties du modèle aux graphes de support de référence. La métrique se décompose en trois composantes :

1. Alignement de l'action ($Q_A$) : Récupération sémantique des actions suivantes candidates.
2. Ancrage factuel ($Q_F$) : Récupération des faits visibles de la scène.
3. Liaison du support ($Q_S$) : Si les faits et les raisons sont correctement liés aux actions appropriées.

La métrique agrégée principale est la moyenne géométrique de ces trois composantes : $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$. Cela garantit qu'un modèle ne peut pas obtenir un score élevé en générant simplement une action plausible s'il échoue à l'ancrer dans les faits ou à la lier aux bonnes raisons.

Régimes de prompting :
L'étude évalue 12 VLM sous trois conditions de prompting distinctes pour tester différents niveaux de justification :

• Direct (Simple) : Demande une action suivante avec une explication minimale (simulant le déploiement).
• Délibéré (Moyen) : Requiert une analyse libre des actions candidates et des raisons avant la sélection.
• Structuré (Complexe) : Demande explicitement un schéma fait–raison–action, s'alignant étroitement sur le format d'annotation du benchmark.

Contributions clés

1. Benchmark NORA : Un benchmark vidéo à la première personne exigeant que les modèles génèrent des actions candidates et les justifient via des graphes de support explicites, dépassant les QCM.
2. Métrique de raisonnabilité ancrée : Un protocole d'évaluation qui distingue la récupération d'un large espace d'actions raisonnables de l'engagement envers une action unique bien soutenue, en utilisant des métriques au niveau de l'ensemble et de l'action choisie.
3. Analyse empirique : Un benchmarking complet de 12 VLM de pointe (incluant les familles GPT-5.x, Gemini, Qwen et Grok) révélant des modes de défaillance spécifiques dans le raisonnement normatif.

Résultats

Le benchmarking de 12 VLM révèle que, bien que les modèles actuels puissent souvent récupérer des actions plausibles et des faits de scène pertinents, ils peinent systématiquement à accomplir la tâche complète de la raisonnabilité ancrée :

• Écart de performance : Les modèles de pointe (GPT-5.2, GPT-5.1) atteignent les scores les plus élevés ($R \approx 0,38$ sous prompting Structuré) mais restent nettement en dessous du plafond de référence de l'annotation (GPT-5.4 atteint $R \approx 0,558$).
• Analyse des composantes : L'ancrage factuel est généralement la composante la plus forte, tandis que l'alignement de l'action (récupération de l'espace complet des actions raisonnables) est la plus faible. Les modèles décrivent souvent la scène correctement mais échouent à construire l'ensemble approprié d'actions candidates.
• Effets du prompting : Le prompting structuré améliore généralement les performances pour les modèles à haute capacité (ex. : GPT-5.2, Gemini-3-Flash) en fournissant un échafaudage, mais peut être une contrainte pour d'autres modèles. Cependant, au niveau de l'action choisie, le prompting structuré améliore systématiquement la décision finale et son ancrage local par rapport au prompting délibéré.
• Ensemble vs Choix : Il existe une forte corrélation entre la raisonnabilité au niveau de l'ensemble et la raisonnabilité de l'action choisie, mais ce sont des capacités distinctes. Sélectionner une action plausible est plus facile que de récupérer l'ensemble complet des actions raisonnables.

Signification et limites

L'article affirme que NORA déplace la question de l'évaluation de « Le modèle peut-il choisir une action ? » vers « Le modèle peut-il justifier une action appropriée pour les bonnes raisons visibles ? ». Il fournit un écart mesurable dans la capacité des VLM actuels à effectuer un raisonnement normatif situé, soulignant que les systèmes actuels manquent souvent de la capacité à construire des ensembles d'options adéquats et à les lier à des preuves locales.

Limites reconnues par les auteurs :

• Pluralisme de l'annotation : Les annotations humaines sont nécessairement des échantillons incomplets de l'espace des actions raisonnables ; plusieurs interprétations valides existent.
• Score comparatif : Les scores de raisonnabilité ancrée sont destinés au diagnostic comparatif plutôt qu'à des mesures absolues de compétence normative.
• Biais : Le benchmark peut refléter des biais provenant de la distribution des vidéos sources (Ego4D), du groupe d'annotateurs et des catégories normatives spécifiques utilisées.

Les auteurs positionnent NORA à la fois comme un cadre d'évaluation et comme un signal d'entraînement potentiel pour les agents incarnés qui doivent agir raisonnablement dans des environnements sociaux, soulignant que l'état de l'art actuel dispose d'une marge de progression substantielle pour combler le fossé entre savoir et faire.