💻 computer science

Learning to Deny: Action Denial in Multimodal Large Language Models

Dieses Paper führt UCF101-AD ein, einen Benchmark, der aufzeigt, dass hochmoderne multimodale große Sprachmodelle Schwierigkeiten haben, Handlungen trotz starker kontextueller Hinweise zu verneinen, und demonstriert, dass die Einbeziehung von kausalem Schließen deren Fähigkeit signifikant verbessert, zu verifizieren, ob Handlungen tatsächlich stattfinden.

Ursprüngliche Autoren: Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Ja-Sager“-Video-Detektiv

Stellen Sie sich vor, Sie stellen einen Video-Detektiv ein, der Überwachungsaufnahmen beobachtet. Sein Job ist es, Ihnen zu sagen, ob ein bestimmtes Ereignis stattgefunden hat, wie zum Beispiel: „Jemand stiehlt ein Fahrrad.“

In der Vergangenheit sind diese KI-Detektive sehr gut darin geworden, das Ereignis zu erkennen, wenn es tatsächlich stattfindet. Wenn sie ein Fahrrad, eine Person und eine Hand sehen, die den Lenker greift, sagen sie selbstbewusst: „Ja, Fahrraddiebstahl!“

Aber hier liegt der Fehler: Diese Detektive sind schrecklich darin, „Nein“ zu sagen.

Wenn das Video zeigt, dass eine Person neben einem Fahrrad steht, den Lenker hält, aber einfach nur dort steht, ohne das Fahrrad tatsächlich zu stehlen, sagt die KI trotzdem: „Ja, Fahrraddiebstahl!“ Sie sieht das Fahrrad und die Person und nimmt sofort das Schlimmste an. Sie ist so begierig darauf, den Hinweisen zuzustimmen, dass sie den wichtigsten Teil ignoriert: die eigentliche Handlung.

Das Papier nennt dies einen „Affirmative Bias“ (Bestätigungsfehler) oder das Verhalten eines „Ja-Sagers“. Die Modelle sind so gut darin, Muster zu erkennen, dass sie Handlungen halluzinieren, selbst wenn die Bewegung gar nicht stattfindet.

Der neue Test: UCF101-AD (Der „Fangfragen“-Datensatz)

Um zu beweisen, dass dieses Problem existiert, haben die Forscher einen neuen Test namens UCF101-AD entwickelt.

Stellen Sie sich diesen Test als eine Prüfung mit „Fangfragen“ für die KI vor.

Der Aufbau: Sie nehmen ein Standardvideo (wie jemanden, der Basketball spielt) und erstellen eine „negative“ Version davon.
Die Fangfrage: In der negativen Version sind das Spielfeld da, der Ball ist da, die Spieler sind da und sie dribbeln... aber niemand macht jemals einen Dunking.
Die Frage: Die KI wird gefragt: „Dunkt gerade jemand den Basketball?“

Die Ergebnisse:

Wenn der Dunk tatsächlich passiert, liegt die KI in über 90 % der Fälle richtig.
Wenn der Dunk nicht passiert (obwohl alles andere gleich aussieht), versagt die KI kläglich und liegt in mehr als 50 % der Fälle falsch. Sie sagt selbstbewusst: „Ja, Dunking!“, obwohl der Ball nie die Hände der Spieler verlassen hat.

Dies beweist, dass die KI auf den Hintergrund (das Spielfeld, den Ball) achtet statt auf die Bewegung (den Sprung und den Dunk).

Die Lösung: CausalAct (Die „Logik-Checkliste“)

Den Forschern wurde klar, dass die KI aufhören muss zu raten und statfangen muss, eine Logik-Checkliste abzuarbeiten. Sie führten eine Methode namens CausalAct ein.

Stellen Sie sich vor, die KI ist ein Koch, der versucht, einen Kuchen zu backen.

Der alte Weg (Die Abkürzung): Der Koch sieht Mehl und Eier auf der Arbeitsplatte liegen und sagt sofort: „Ich backe einen Kuchen!“, selbst wenn der Ofen kalt ist und die Zutaten nur so herumliegen.
Der neue Weg (CausalAct): Der Koch wird gezwungen, einem Rezept-Graphen zu folgen. Er muss prüfen:
1. Sind die Zutaten da? (Ja)
2. Werden sie gemischt? (Ja)
3. Geht der Teig tatsächlich in den Ofen? (Nein) -> STOPP. Sage nicht „Backen“.

Die Forscher verwandelten dieses „Rezept“ in einen kausalen Graphen (Causal Graph). Sie brachten der KI bei, ein Video in Schritte zu zerlegen:

Kontext: Wer und was ist in der Szene?
Interaktion: Berühren oder benutzen sie die Objekte?
Bewegung: Findet eine tatsächliche Bewegung statt?
Handlung: Nur wenn die Schritte 1, 2 und 3 perfekt zusammenpassen, darf sie sagen, dass die Handlung stattfindet.

Hat es funktioniert?

Ja, aber mit einer Einschränkung.

Nur höflich fragen (Zero-Shot): Wenn sie den großen KI-Modellenen einfach sagten: „Bitte überprüfe deinen Logik-Graphen“, wurden die größeren Modelle mit starken Sprachfähigkeiten besser darin, „Nein“ zu sagen.
Die Fähigkeit lehren (Fine-tuning): Für kleinere Modelle mussten sie die Modelle tatsächlich an „Graph-Rätseln“ trainieren. Sie zeigten ihnen nicht die Video-Antworten, sondern lehrten sie lediglich, wie man die Logik-Karte liest. Sobald sie lernten, die Karte zu lesen, wurden sie viel besser darin, Handlungen zu verneinen, die nicht stattfanden.

Der „Denk“-Twist

Das Papier testete auch „Thinking Models“ (KI, die ihren Denkprozess durchspricht, bevor sie antwortet). Überraschenderweise schnitten diese oft schlechter ab.

Warum? Weil sie sich beim „Nachdenken“ von den Hintergrund-Hinweisen ablenken ließen. Sie sagten: „Ich sehe einen Basketball, ich sehe einen Korb, also muss wohl jemand einen Dunking machen“, und schrieben dann selbstbewusst einen langen Absatz darüber, warum sie recht hatten, obwohl kein Dunking stattfand. Sie waren so gut darin zu erklären, warum etwas passieren könnte, dass sie vergaßen zu prüfen, ob es auch wirklich passierte.

Zusammenfassung

Das Paper zeigt, dass aktuelle KI-Video-Beobachter großartig darin sind, das zu erkennen, was da ist, aber schrecklich darin, zu erkennen, was nicht da ist. Sie sind zu höflich, um „Nein“ zu sagen. Indem wir ihnen beibringen, einer strikten „Ursache-Wirkungs-Checkliste“ (CausalAct) zu folgen, können wir ihnen helfen, die schwierige Fähigkeit der Verneinung zu erlernen: zu erkennen, dass nur weil die Szene richtig aussieht, die Handlung vielleicht gar nicht stattfindet.

Technisches Resümee: Lernen zu verneinen: Aktionsverneinung in multimodalen großen Sprachmodellen

Problemdefinition
Trotz rasanter Fortschritte im Videoverständnis weisen multimodale große Sprachmodelle (MLLMs) eine kritische Schwachstelle auf: die Unfähigkeit, eine Aktion zuverlässig zu verneinen, wenn starke kontextuelle Hinweise vorhanden sind, aber die definierende Bewegung fehlt. Aktuelle Modelle zeigen eine „Zustimmungs-“ oder Affirmations-Bias, indem sie oft vorhersagen, dass eine Aktion stattfindet, basierend auf der Präsenz relevanter Objekte, Akteure oder Hintergründe, selbst wenn die spezifischen zeitlichen Dynamiken, die für diese Aktion erforderlich sind, fehlen. Bestehende Benchmarks (z. B. Kinetics, UCF101) bestehen primär aus positiven Beispielen, was spureneffektive Korrelationen zwischen Kontext und Aktion verstärkt, anstatt den Modellen beizubringen, kausale Bewegungen zu verifizieren. Infolgedessen scheitern Modelle daran, zwischen einer Szene, in der eine Aktion stattfinden könnte, und einer, in der sie tatsächlich stattfindet, zu unterscheiden.

Methodik
Die Autoren schlagen einen zweigleisigen Ansatz vor, der einen neuen Benchmark und ein kausales Reasoning-Framework umfasst:

UCF101-ActionDenial (UCF101-AD) Benchmark:
- Konstruktion: Ein Datensatz von 11.283 Videos, die aus UCF101-Kategorien abgeleitet wurden und Paare aus „Action-Presence“ (positiv) und „Action-Denial“ (negativ) Clips enthalten.
- Negatives Design: Die negativen Clips bewahren den typischen Kontext (Personen, Objekte, Orte) der Zielaktion, schließen aber die definierende Bewegung explizit aus. Sie werden in zwei Typen unterteilt:
  - Typ 1 (Nur Kontext): Saliente Objekte und die Umgebung sind präsent, aber es findet keine Interaktion statt (z. B. eine Person in der Nähe eines Klaviers, ohne zu spielen).
  - Typ 2 (Gleicher Kontext, andere Bewegung): Die Umgebung und die Objekte sind vorhanden, aber der Akteur führt eine andere, plausible Aktion aus (z. B. Dribbeln eines Basketballs, ohne einen Dunk zu machen).
- Evaluierungsprotokoll: Modelle werden über ein Multiple-Choice-Frageformat (MCQ) getestet, bei dem sie die korrekte Bildunterschrift aus Optionen wählen müssen, die die Zielaktion, Distraktoren und eine „Keine“-Option enthalten.
CausalAct Framework:
- Kausale Graph-Formulierung: Die Autoren modellieren die Aktionserkennung als gerichteten azyklischen Graphen (DAG), bei dem eine Aktion ( $A$ ) das Ergebnis einer kausalen Kette ist: Kontext (Personen $P$ , Objekte $O$ , Ort $L$ ) $\to$ Relationen (Räumlich $S$ , Interaktion $I$ ) $\to$ Bewegung ( $M$ ) $\to$ Aktion ( $A$ ).
- Prompting (CausalAct-0): Die Graphstruktur wird als natürliche Sprachprompt instanziiert, die das Modell anleitet, die kausale Kette (speziell die Präsenz der Bewegung $M$ ) zu verifizieren, bevor es eine Aktion bestätigt.
- Finetuning: Um Fälle zu adressieren, in denen Modelle den Prompts nicht folgen können, führen die Autoren zusätzliche Hilfs-Finetuning-Aufgaben ein. Modelle werden auf graphzentrierten Visual Question Answering (VQA) Aufgaben trainiert (die Knotenidentitäten, Kantenbeziehungen und kausale Pfade prüfen), die aus der Graphstruktur abgeleitet sind. Entscheidend ist, dass diese Aufgaben nicht die Ground-Truth-Aktionslabels preisgeben, um Label-Leakage zu verhindern und das Modell zu zwingen, die Struktur des kausalen Denkens zu lernen.

Wichtigste Ergebnisse

Baseline-Versagen: Die Evaluierung von 20 State-of-the-Art MLLMs (einschließlich Ovis, Intern, Qwen, VideoLLaMA und GPT-4o mini) offenbart eine gravierende Leistungslücke. Während Modelle bei Standard-Action-Presence-Clips hohe Genauigkeiten (>85-95 %) erreichen, bricht ihre Leistung bei Action-Denial-Clips zusammen, wobei die meisten Modelle unter 50 % liegen (oft im Bereich von 20-35 %). Dies deutet auf eine starke Abhängigkeit von kontextuellen Abkürzungen (Shortcuts) statt auf Bewegungsverifizierung hin.
Mensch vs. Modell: Menschliche Evaluatoren erreichten eine Genauigkeit von 86,6 % bei der Denial-Aufgabe, was bestätigt, dass der Datensatz lösbar ist und das Versagen spezifisch für aktuelle Modellarchitekturen ist.
Korrelation von Biases: Die Studie findet eine positive Korrelation zwischen „Shortcut Learning“ (Versagen der Verneinung) und „Sycophancy“ (Zustimmung zu einer Prämisse). Modelle, die fälschlicherweise einen Distraktor-Aktions-Typ in MCQs auswählen, neigen auch eher dazu, bei binären Fragen zur Präsenz der Aktion fälschlicherweise mit „Ja“ zu antworten.
Reasoning-Modelle: Kontraintuitiverweise schneiden „Thinking“-Modelle (die explizite Reasoning-Schritte besitzen) bei dieser Aufgabe oft schlechter ab als Standardmodelle, da ihre Reasoning-Ketten dazu neigen, sich übermäßig auf den visuellen Kontext zu konzentrieren und Aktionen zu halluzinieren, anstatt deren Abwesenheit zu begründen.
CausalAct Effektivität:
- Zero-Shot: Stärkere Sprach-Backbones (z. B. Ovis2.5-9B, Qwen2.5-VL-7B) zeigen eine verbesserte Denial-Genauigkeit, wenn sie durch CausalAct-Prompts geleitet werden, wenngleich schwächere Modelle diesbezüglich degradieren können.
- Finetuning: Das Finetuning kleinerer Modelle auf graphbasierten VQA-Aufgaben verbessert die Action-Denial-Genauigkeit signifikant und verschiebt das Verhalten von kontextuellen Shortcuts hin zur Verifizierung der kausalen Kette.
- Generalisierung: Der CausalAct-0-Ansatz überträgt sich auf externe Datensätze (K400, HMDB51, SSv2, Diving48) und verbessert die Denial-Genauigkeit über diverse Verteilungen hinweg.
- Ablation: Die Leistung sinkt, wenn die kausale Graphstruktur nach dem Finetuning beschnitten oder randomisiert wird, was bestätigt, dass die Modelle lernt, die spezifischen kausalen Abhängigkeiten zu nutzen, anstatt nur willkürlichen Textmustern zu folgen. Zudem ist die Aktualisierung des Vision Encoders während des Finetunings essenziell; das Einfrieren führt zu einer signifikanten Leistungsdegradation.

Bedeutung und Ansprüche
Das Paper beansprucht, die erste systematische Bewertung der „Action Denial“ in MLLMs bereitzustellen und damit eine fundamentale Einschränkung aufzuzeigen, bei der Modelle Kontext mit dem Auftreten einer Aktion gleichsetzen. Die Autoren argumentieren, dass robustes Videoverständnis die Fähigkeit erfordert, kausal über die Abwesenheit von Bewegung zu denken, nicht nur über deren Präsenz.

Die Bedeutung der Arbeit liegt in:

Diagnose: Identifizierung der Tatsache, dass aktuelle MLLMs keinen Mechanismus zur Verifizierung definierender Bewegungen besitzen, was zu False Positives in kritischen Anwendungen wie Überwachung und autonomen Systemen führt.
Benchmarking: Einführung von UCF101-AD als notwendiges Werkzeug zur Diagnose und Verbesserung des kausalen Denkens, das über die Standard-Aktionserkennung hinausgeht.
Methodische Erkenntnis: Demonstration, dass Verneinung eine lernbare Reasoning-Fähigkeit ist. Durch die Strukturierung des Szenenverständnisses mittels kausaler Graphen und das Training der Modelle zur Verifizierung von Voraussetzungen (Interaktion und Bewegung) ist es möglich, den Affirmations-Bias zu mildern und False Positives zu reduzieren, ohne auf negative Aktionslabels während des Trainings angewiesen zu sein.

Die Autoren nehmen eine moderate Haltung ein und stellen fest, dass CausalAct die Leistung zwar verbessert, das Problem jedoch nicht vollständig löst und aktuelle „Thinking“-Modelle weiterhin Schwierigkeiten mit negativen Constraints haben. Die Arbeit dient als Fundament für die Weiterentwicklung des kausalen Reasonings in multimodalen Systemen.