🤖 AI

NoRA: Evaluating Grounded Reasonableness in Visual First-person Normative Action Reasoning

Das Paper stellt NoRA vor, einen visuellen First-Person-Benchmark, der 1.420 annotierte Videoclips umfasst und multimodale Systeme hinsichtlich ihrer Fähigkeit bewertet, durch explizite Fakt-Grund-Aktions-Unterstützungsgraphen vernünftige Aktionen zu generieren und zu begründen, wobei aufgezeigt wird, dass aktuelle Modelle Schwierigkeiten haben, den vollständigen Aktionsraum zu konstruieren und Aktionen korrekt an sichtbare Belege zu binden, obwohl sie oft plausible Einzelaktionen identifizieren.

Ursprüngliche Autoren: Sichao Li, Sai Ma, Daniel Kilov, Secil Yanik Guyot, Zhuang Li, Seth Lazar

Veröffentlicht 2026-06-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sichao Li, Sai Ma, Daniel Kilov, Secil Yanik Guyot, Zhuang Li, Seth Lazar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Wissen vs. Handeln

Stellen Sie sich vor, Sie bringen einem Roboter bei, durch einen belebten Park zu laufen.

Der alte Weg: Sie zeigen dem Roboter eine Liste mit drei Optionen: „A) Nach links gehen“, „B) Nach rechts gehen“ oder „C) Hinsetzen“. Der Roboter wählt „B“. Sie prüfen, ob „B“ die „richtige“ Antwort ist.
Die Kritik der Arbeit: Das ist wie ein Multiple-Choice-Test. Im echten Leben reicht einem niemand ein Menü mit drei Optionen an die Hand. Man muss die Situation betrachten, herausfinden, was gerade passiert, seine eigene Liste möglicher Schritte erstellen und dann die beste auswählen.

Die Autoren argumentieren, dass aktuelle KI-Modelle gut darin sind, die richtige Antwort aus einem Menü auszuwählen (wie ein Schüler, der bei einer Testfrage rät), aber schlecht darin sind, das Menü selbst zu bestimmen und zu erklären, warum sie sich für ein bestimmtes Gericht entschieden haben.

Die Lösung: NORA (Das „Reasoning Gym“)

Die Autoren haben einen neuen Test namens NORA (Normative Reasoning in Action) entwickelt. Anstatt die KI zu fragen: „Was soll ich tun?“ und zu prüfen, ob die Antwort mit einem vorgegebenen Schlüssel übereinstimmt, verlangt NORA von der KI drei Dinge gleichzeitig:

Die Szene sehen: Ein Videoclip aus einer Ich-Perspektive (wie eine GoPro auf einem Kopf) betrachten.
Ein Menü erstellen: Eine Liste mit vernünftigen Dingen erstellen, die man als Nächstes tun könnte.
Die Wahl rechtfertigen: Für jede Aktion auf der Liste erklären, warum sie aufgrund dessen, was tatsächlich im Video sichtbar ist, sinnvoll ist.

Die Analogie: Betrachten Sie NORA nicht als Multiple-Choice-Quiz, sondern als einen Kochwettbewerb.

Alte Tests: Der Richter gibt Ihnen drei Zutaten und fragt: „Welche davon ist die beste?“
NORA: Der Richter zeigt Ihnen eine Küche mit einer unordentlichen Arbeitsplatte und einem hungrigen Gast. Sie müssen:
- Die Zutaten auf der Arbeitsplatte identifizieren (Fakten).
- Verschiedene Mahlzeiten entwerfen, die Sie kochen könnten (Kandidaten-Aktionen).
- Erklären, warum „Pasta“ eine gute Wahl ist, weil „der Gast hungrig ist“ und „wir Tomaten haben“ (Gründe).
- Entscheidend: Wenn Sie sagen „Ich mache ein Steak“, aber kein Fleisch auf der Arbeitsplatte liegt, scheitern Sie, selbst wenn „Steak“ eine köstliche Idee wäre.

Wie sie den Erfolg messen: Der „Support Graph“

Die Arbeit führt eine spezifische Methode zur Bewertung der KI namens Grounded Reasonableness Score ein. Sie schauen nicht nur auf die endgültige Antwort; sie schauen auf den „Support Graph“ (Stützungs-Graphen).

Stellen Sie sich einen Baum vor:

Die Wurzeln (Fakten): Was ist tatsächlich sichtbar? (z. B. „Ein Kind rennt“, „Der Boden ist nass“).
Der Stamm (Gründe): Warum ist das wichtig? (z. B. „Das Kind könnte ausrutschen“, „Es ist gefährlich, auf nassem Gras zu rennen“).
Die Früchte (Aktionen): Was sollten wir tun? (z. B. „Das Kind stoppen“, „Auf trockenes Gras ausweichen“).

Die Bewertung:

Action Alignment (Aktions-Abgleich): Hat die KI eine gute Liste an Früchten erstellt?
Factual Grounding (Faktische Fundierung): Sind die Wurzeln echt? (Hat die KI ein Kind halluziniert, das gar nicht da ist?)
Support Binding (Unterstützungs-Bindung): Ist die Frucht mit den richtigen Wurzeln verbunden? (Hat die KI „Das Kind stoppen“ gesagt, weil es um das nasse Gras geht, oder wegen eines Hundes, der gar nicht da ist?)

Was sie herausfanden: Die Falle des „Plausibel, aber falsch“

Die Forscher testeten 12 verschiedene KI-Modelle (darunter bekannte Namen wie GPT-5 und Gemini) in diesem neuen „Gym“. Hier ist, was sie entdeckten:

Sie sind gut darin, den Raum zu beschreiben: Die meisten KIs können sichtbare Fakten korrekt identifizieren (z. B. „Da ist ein Rasenmäher“).
Sie sind okay darin, eine Frucht zu wählen: Sie wählen oft eine plausible Aktion (z. B. „Weiter mähen“).
Sie scheitern am „Menü“ und am „Warum“:
- Das Menü verpassen: Sie haben Schwierigkeiten, eine vollständige Liste vernünftiger Optionen zu generieren. Sie übersehen oft alternative Handlungen, die ein Mensch in Betracht ziehen würde.
- Lose Verbindungen: Sie wählen oft eine gute Aktion, knüpfen sie aber an den falschen Grund. Zum Beispiel könnten sie sagen „Weiter mähen“, weil „es ein schöner Tag ist“, während der eigentliche Grund (im Video sichtbar) ist, dass „das Gras lang ist und geschnitten werden muss“.

Die Metapher: Stellen Sie sich einen Schüler vor, der die Hand hebt und sagt: „Die Antwort ist 42!“

Alter Test: Wenn 42 die richtige Antwort ist, bekommt er eine Eins.
NORA-Test: Der Lehrer fragt: „Zeig mir deinen Rechenweg.“ Der Schüler sagt: „Weil 6 mal 7 gleich 42 ist.“
- Wenn die Aufgabe eigentlich lautete: „Was ist die Quadratwurzel von 1764?“, bekommt der Schüler zwar eine Eins für die Antwort, aber er fällt durch den Test durch, weil er nicht den richtigen Grund für das spezifische Problem aufgezeigt hat.
- NORA fand heraus, dass aktuelle KIs sehr gut darin sind, „42!“ zu rufen, aber schrecklich darin sind, die Mathematik zu zeigen, die beweist, warum 42 die richtige Bewegung für dieses spezifische Video ist.

Die drei „Prompt“-Stile

Um zu testen, wie die KI denkt, stellten die Forscher dieselben Fragen auf drei verschiedene Arten (als würden sie die Regeln des Kochwettbewerbs ändern):

Direkt: „Sag mir einfach, was ich tun soll.“ (Keine Erklärung erlaubt).
Deliberativ (Überlegt): „Denke laut nach. Liste ein paar Optionen auf und erkläre sie, dann wähle eine aus.“
Strukturiert: „Fülle dieses spezifische Formular aus: Liste Fakten auf, Liste Gründe auf, Liste Aktionen auf und wähle dann eine aus.“

Das Ergebnis: Der „strukturierte“ Ansatz (das Ausfüllen des Formulars) half den besten KI-Modellen, besser abzuschneiden. Es zwang sie dazu, langsamer zu werden und ihre Fakten mit ihren Aktionen zu verknüpfen. Jedoch machten die starren Regeln manche anderen Modelle sogar schlechter, als ob die strengen Regeln sie verwirrt hätten.

Das Fazendurchlauf (Bottom Line)

Die Arbeit kommt zu dem Schluss, dass KIs zwar immer besser darin werden, zu „sehen“ und zu „wählen“, aber immer noch Schwierigkeiten mit der begründeten Argumentation haben. Sie können oft die richtige Bewegung erraten, aber sie können nicht zuverlässig erklären, warum diese Bewegung auf Basis dessen, was sie im Video sehen, richtig ist.

NORA ist ein Werkzeug, um diese Lücke zu messen. Es verschiebt die Frage von „Kann die KI die richtige Antwort wählen?“ zu „Kann die KI ein logisches, sichtbares und verteidigbares Argument für ihre Handlung aufbauen?“ Derzeit lautet die Antwort: „Sie kommen voran, aber sie sehen noch nicht das ganze Bild.“

Technisches Resümee: NORA – Evaluierung von fundierter Angemessenheit in der visuell-perspektivischen, normativen Handlungsplanung

Problemstellung

Die aktuellen Evaluierungen von Large Language Models (LLMs) und Vision-Language Models (VLMs) hinsichtlich ihrer normativen Kompetenz – insbesondere der Fähigkeit, soziale Normen und praktische Gründe für Handlungen in realen Umgebungen zu navigieren – sind unzureichend. Bestehende Benchmarks stützen sich typischerweise auf zwei fehlerhafte Paradigmen:

Textbasierte moralische Urteilskraft: Die Bewertung von Modellen anhand explizit beschriebener textlicher Fälle versäumt es, die Fähigkeit zu testen, relevante Merkmale aus visuellen Beweisen zu isolieren.
Multiple-Choice-Fragen (MCQs): Selbst in visuellen Settings (z. B. EGONORMIA) werden Modelle mit einem fest vorgegebenen Menü an Optionen konfrontiert. Dieser Ansatz testet das Abgleichen von Antworten statt der Kapazität, einen angemessenen Handlungsraum von Grund auf zu konstruieren.

Das Paper argumentiert, dass diese Methoden auf der „Urteilsseite“ der Wissens–Handlungs-Lücke verharren. In der Praxis müssen Agenten normativ relevante Merkmale aus dem First-Person-Video identifizieren, über sie nachdenken und eine begründete Handlung generieren, ohne dass eine vordefinierte Liste von Kandidaten vorliegt. Aktuelle Modelle scheitern oft daran, den vollständigen Raum angemessener Alternativen zu konstruieren oder die ausgewählten Handlungen an die korrekte lokale Unterstützung (Fakten und Gründe) zu binden.

Methodik: Der NORA-Benchmark

Die Autoren führen NORA (Normative Reasoning in Action) ein, einen Benchmark, der darauf ausgelegt ist, fundierte Angemessenheit (grounded reasonableness) zu evaluieren. Dieses Konzept wird als die Fähigkeit eines Modells definiert, saliente Szenenfakten zu identifizieren, Gründe für oder gegen Kandidatenhandlungen darzustellen und eine Handlung auszuwählen, die durch diese Gründe gestützt wird, innerhalb eines sozial situierten Kontextes.

Konstruktion des Datensatzes

NORA basiert auf Clips aus dem Ego4D-Datensatz, die unter Philosophen-geprüften Instruktionen annotiert wurden. Der Datensatz umfasst 1.420 annotierte Videoclips, unterteilt in zwei Stufen:

HUMANGOLD-190: Ein Satz von 190 Clips, der durch menschliche Annotatoren verifiziert wurde.
LLMSSILVER-1230: Ein Satz von 1.230 Clips, der durch LLMs (GPT-5.4 und Gemini-3.1-Pro) gegen den menschlichen Goldstandard validiert wurde, um die Skalierbarkeit sicherzustellen.

Annotationsschema:
Jeder Clip wird als strukturierte Entscheidungsproblematik annotiert, die drei Prinzipien folgt:

First-Person-Perspektive: Strikt gebunden an die im Szenenbild verfügbaren visuellen Beweise.
Fakt–Grund–Handlung-Abfolge: Die Annotationen protokollieren sichtbare Fakten, faktenbasierte Gründe und grundbasierte Kandidatenhandlungen in einer strikten Sequenz, um eine Post-hoc-Rechtfertigung zu vermeiden.
Pluralismus angemessener Handlungen: Mehrere Handlungen können angemessen sein, wenn sie durch sichtbare Beweise gestützt werden und durch Gründe, die nicht durch stärkere kontextuelle Erwägungen entkräftet werden, legitimiert sind.

Die Annotationen werden als aktionsorientierte Support-Graphen ( $G = \{G_a : a \in A\}$ ) dargestellt, wobei Kanten lokale Unterstützungsrelationen kodieren ( $f \to r \to a$ ).

Evaluierungsprotokoll

Die Evaluierung misst die fundierte Angemessenheit durch den Vergleich der Modellausgaben mit den Referenz-Support-Graphen. Die Metrik setzt sich aus drei Komponenten zusammen:

Aktions-Alignment ( $Q_A$ ): Semantische Rekuperation der Kandidaten-Folgeaktionen.
Faktische Fundierung ( $Q_F$ ): Rekuperation der sichtbaren Szenenfakten.
Support-Bindung ( $Q_S$ ): Ob Fakten und Gründe korrekt an die entsprechenden Aktionen gebunden sind.

Die primäre Aggregatmetrik ist das geometrische Mittel dieser drei Komponenten: $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$ . Dies stellt sicher, dass ein Modell keinen hohen Score erzielen kann, indem es lediglich eine plausible Aktion generiert, wenn es versäumt, diese in Fakten zu fundieren oder an die korrekten Gründe zu binden.

Prompting-Regime:
Die Studie evaluiert 12 VLMs unter drei verschiedenen Prompting-Bedingungen, um unterschiedliche Ebenen der Rechtfertigung zu testen:

Direkt (Einfach): Fragt nach einer Folgeaktion mit minimaler Erklärung (simuliert den Einsatz/Deployment).
Deliberativ (Mittel): Schwere Analyse von Kandidatenaktionen und Gründen vor der Auswahl erfordert.
Strukturiert (Komplex): Fordert explizit ein Fakt–Grund–Handlungs-Schema an, was eng mit dem Format der Benchmark-Annotation übereinstimmt.

Zentrale Beiträge

NORA-Benchmark: Ein visueller First-Person-Video-Benchmark, der Modelle dazu zwingt, Kandidatenaktionen zu generieren und sie über explizite Support-Graphen zu rechtfertigen, wodurch die Methode der MCQs überwunden wird.
Metrik der fundierten Angemessenheit: Ein Evaluierungsprotokoll, das zwischen der Rekuperation eines breiten Raums angemessener Aktionen und der Festlegung auf eine einzelne, gut gestützte Aktion unterscheidet, unter Verwendung von Set-Level- und Chosen-Action-Metriken.
Empirische Analyse: Eine umfassende Benchmarking von 12 State-of-the-Art VLMs (einschließlich der GPT-5.x, Gemini und Qwen Familien), die spezifische Fehlermodi in der normativen Argumentation aufzeigt.

Ergebnisse

Das Benchmarking von 12 VLMs zeigt, dass aktuelle Modelle zwar oft plausible Aktionen und relevante Szenenfakten rekonstruieren können, sie jedoch konsistent Schwierigkeiten mit der vollständigen Aufgabe der fundierten Angemessenheit haben:

Leistungslücke: Frontier-Modelle (GPT-5.2, GPT-5.1) erreichen die höchsten Scores ( $R \approx 0,38$ unter strukturiertem Prompting), bleiben aber signifikant unter dem Annotations-Referenz-Maximum (GPT-5.4 erreicht $R \approx 0,558$ ).
Komponentenanalyse: Die faktische Fundierung ist typischerweise die stärkste Komponente, während das Aktions-Alignment (die Rekuperation des vollständigen Raums angemessener Aktionen) die schwächste ist. Modelle beschreiben die Szene oft korrekt, scheitern aber daran, den angemessenen Satz an Kandidatenaktionen zu konstruieren.
Effekte des Promptings: Strukturiertes Prompting verbessert die Leistung für hochkapazitive Modelle (z. B. GPT-5.2, Gemini-3-Flash) im Allgemeinen durch Bereitstellung von Scaffolding, kann aber für andere Modelle eine Einschränkung darstellen. Jedoch verbessert strukturiertes Prompting auf der Ebene der gewählten Aktion (chosen-action level) konsistent die endgültige Entscheidung und deren lokale Fundierung im Vergleich zu deliberativem Prompting.
Set vs. Choice: Es besteht eine starke Korrelation zwischen der Angemessenheit auf Set-Ebene und der Angemessenheit der gewählten Aktion, doch handelt es sich um distinkte Fähigkeiten. Die Auswahl einer plausiblen Aktion ist einfacher als die Rekuperation des vollständigen Raums angemessener Aktionen.

Bedeutung und Limitationen

Das Paper behauptet, dass NORA die Evaluierungsfrage von „Kann ein Modell eine Aktion wählen?“ zu „Kann ein Modell eine angemessene Aktion aus den richtigen sichtbaren Gründen rechtfertigen?“ verschiebt. Es liefert eine messbare Lücke in der Fähigkeit aktueller VLMs zur situierten normativen Argumentation und verdeutlicht, dass aktuelle Systeme oft nicht die Kapazität besitzen, adäquate Optionssets zu konstruieren und diese an lokale Evidenzen zu binden.

Vom Autor anerkannte Limitationen:

Annotationeller Pluralismus: Menschliche Annotationen sind notwendigerweise unvollständige Stichproben des Raums angemessener Aktionen; multiple valide Interpretationen existieren.
Vergleichende Bewertung: Die Scores der fundierten Angemessenheit sind als diagnostische Vergleichswerte gedacht und nicht als absolute Maße für normative Kompetenz.
Bias: Der Benchmark kann Verzerrungen aus der Quell-Videoverteilung (Ego4D), dem Annotatorenpool und den spezifisch verwendeten normativen Kategorien widerspiegeln.

Die Autoren positionieren NORA sowohl als Evaluierungsrahmen als auch als potenzielles Trainingssignal für eingebettete Agenten (embodied agents), die in sozialen Umgebungen angemessen handeln müssen, und betonen, dass der aktuelle Stand der Technik erheblichen Spielraum für Verbesserungen bei der Überbrückung der Wissens–Handlungs-Lücke bietet.