Menschen senden ständig ihre inneren Leben durch winzige, fast unsichtbare Bewegungen aus. Eine Hand, die unruhig hin und her zappelt, ein Kopf, der sich um einen Bruchteil eines Zentimeters neigt, oder ein Bein, das in einem subtilen Rhythmus wippt – dies sind Mikro-Aktionen. Im Gegensatz zu den großen, bewussten Gesten, mit denen wir zum Beispiel winken oder auf ein Schild zeigen, geschehen diese kleinen Bewegungen mit wenig bewusster Kontrolle. Dennoch geben sie zuverlässig Informationen über den emotionalen Zustand und die psychologische Verfassung einer Person preis. Jahrzehntelang haben Wissenschaftler versucht, Computern beizubringen, diese flüchtigen Signale zu erkennen, indem sie sie als ein schwieriges Rätsel in der Videoanalyse behandelten. Die Herausforderung liegt in ihrer Subtilität; sie sind kurz, haben eine geringe Amplitude und lassen sich leicht miteinander verwechseln. Eine Kopfbewegung kann wie eine Kopfdrehung aussehen; ein Berühren kann einem Kratzen ähneln. Bis vor kurzem war der beste Weg, dies zu lösen, spezialisierte Computerprogramme zu entwickeln, die auf tausenden von Beispielen trainiert wurden – ein Prozess, der riesige Mengen an Daten und Rechenleistung erforderte.

Ein Forscherteam der Universität Wuhan hat dieses Problem nun mit einer anderen Strategie angegangen, einer, die auf bestehenden, leistungsstarken Werkzeugen der künstlichen Intelligenz basiert, anstatt neue von Grund auf neu zu erschaffen. In einem kürzlich durchgeführten Wettbewerb, bei dem es um das Verständnis dieser Mikro-Aktionen ging, errangen sie den ersten Platz, ohne ihr System mit neuen Daten trainiert zu haben. Anstatt einem Computer beizubringen, wie eine Mikro-Aktion aussieht, baten sie ein hochentwickeltes Sprachmodell darum, zu beschreiben, was es sieht, und zu erklären, warum es dies sieht. Ihr Erfolg offenbart eine überraschende Wahrheit darüber, wie diese Modelle funktionieren: Der beste Weg, einen Computer dazu zu bringen, eine subtile Bewegung zu verstehen, besteht nicht darin, ihn die Antwort erraten zu lassen, sondern ihn zuerst die Details beschreiben zu lassen und dann diese Details die endgültige Schlussfolgerung leiten zu lassen.

Die Forscher nahmen an einer Herausforderung namens „Micro-Action Analysis Grand Challenge“ teil, bei der das Ziel darin bestand, Tausende kurzer Videoclips zu analysieren, in denen Menschen diese subtilen Bewegungen ausführen. Die Aufgabe war in mehrere Teile unterteilt. Einige Teile erforderten, dass der Computer die richtige Kategorie aus einer Liste auswählte, etwa um zu entscheiden, ob eine Bewegung eine „Kopf-Hand“-Interaktion oder eine „Bein-Hand“-Interaktion war. Andere Teile waren offener gestaltet und fragten den Computer, exakt zu beschreiben, welche Körperteile sich wie bewegten und warum ein bestimmtes Label die richtige Wahl war. Die Regeln des Wettbewerbs waren streng: Die Teams durften ihre Modelle nicht mit den Wettbewerbsdaten trainieren, noch durften sie die korrekten Antworten verwenden, um das System zu lehren. Sie mussten die Modelle genau so verwenden, wie sie waren, und sie lediglich durch schriftliche Anweisungen führen.

Das Team erkannte, dass ein einzelnes Modell der künstlichen Intelligenz nicht das richtige Werkzeug für jeden Teil der Aufgabe war. Einige Modelle sind hervorragend darin, schnelle, präzise Entscheidungen zu treffen, wie etwa das Auswählen des richtigen Buchstabens aus einer Liste mit Auswahlmöglichkeiten. Andere sind besser darin, detaillierte, fließende Beschreibungen dessen zu schreiben, was in einer Szene geschieht. Die Forscher bauten ein System, das wie ein Dirigent fungiert und jede spezifische Frage an das Modell weiterleitet, das am besten geeignet ist, um sie zu beantworten. Wenn die Aufgabe darin bestand, eine Kategorie zu identifizieren oder ein einfaches Ja-oder-Nein-Urteil zu fällen, schickten sie das Video an ein Modell, das für seine starken Entscheidungsfähigkeiten bekannt ist. Wenn die Aufgabe darin bestand, eine Beschreibung zu schreiben oder die Begründung hinter einer Wahl zu erläutern, schickten sie das Video an ein Modell, das für seine Fähigkeit bekannt ist, flüssigen, kohärenten Text zu generieren.

Diese Arbeitsteilung löste ein großes Problem. Oft beschreibt ein Modell, das gut darin ist, eine Szene zu beschreiben, eine falsche Aktion sehr selbstbewusst, weil es sich in den Details verliert. Umgekehrt kann ein Modell, das gut darin ist, ein Label auszuwählen, eine sehr kurze, wenig hilfreiche Erklärung liefern. Durch die Trennung der Aufgaben stellten die Forscher sicher, dass das Modell, das die Beschreibung schreibt, nicht durch den Druck, das endgültige Label erraten zu müssen, abgelenkt wird. Sie gingen jedoch noch einen Schritt weiter. Sie entdeckten, dass selbst mit der besten Beschreibung das Modell immer noch einen Fehler beim endgültigen Label machen konnte, wenn es nicht an die korrekten Fakten gebunden war. Um dies zu beheben, führten sie eine Methode ein, die sie „recognition-conditioned reasoning“ (erkennungsbedingtes Schließen) nannten.

In diesem Ansatz bittet das System das Entscheidungsmodell zuerst darum, die korrekte Kategorie vorherzusagen. Es nimmt dann diese Vorhersage und speist sie direkt in den Prompt für das beschreibende Modell ein. Das beschreibende Modell wird dann gebeten, seine Erklärung zu schreiben, muss dies jedoch unter Berücksichtigung der vorhergesagten Kategorie tun. Es ist, als würde das System sagen: „Basierend auf dem, was du siehst, erkläre, warum dies eine Kopfbewegung ist, und stelle sicher, dass deine Beschreibung diese Schlussfolgerung stützt.“ Dieser einfache Schritt, dem beschreibenden Modell einen Hinweis auf die Antwort zu geben, verbesserte die Genauigkeit des Endergebnisses drastisch. Das beschreibende Modell schrieb nicht nur eine bessere Geschichte, sondern eine Geschichte, die faktisch konsistent mit dem korrekten Label war.

Die Ergebnisse dieses Ansatzes waren beeindruckend. Im finalen Wettbewerb erzielte das System des Teams signifikant höhere Werte als jeder andere Eintrag, insbesondere in den offenen Abschnitten, in denen der Computer die Bewegungen beschreiben und darüber argumentieren musste. Während andere Teams Schwierigkeiten hatten, Erklärungen zu formulieren, die sowohl flüssig als auch präzise waren, gelang es diesem System, Beschreibungen zu produzieren, die dem Videoinhalt treu blieben. Die Forscher fanden heraus, dass der Hauptgrund für Fehler nicht darin lag, dass die Modelle die Bewegung nicht sehen oder nicht gut schreiben konnten, sondern dass sie manchmal ganz zu Beginn das falsche Label vorhersagten. Sobald das korrekte Label als Ausgangspunkt bereitgestellt wurde, konnten die Modelle perfekte Erklärungen konstruieren.

Diese Arbeit deutet darauf hin, dass die Zukunft für komplexe visuelle Aufgaben, die subtiles menschliches Verhalten betreffen, möglicherweise nicht darin liegt, massive neue Modelle von Grund auf neu zu trainieren. Stattdessen könnte der Schlüssel darin liegen, wie wir die bereits vorhandenen, leistungsstarken Werkzeuge organisieren und steuern. Indem wir den richtigen Typ künstlicher Intelligenz sorgfältig dem richtigen Typ von Frage zuordnen und indem wir die Modelle die Arbeit des jeweils anderen prüfen lassen, können wir ein Verständnis erreichen, das spezialisierten Systemen ebenbürtig ist. Die Forscher zeigten, dass ein System, das vollständig aus existierenden, „eingefrorenen“ Modellen besteht, diejenigen übertreffen kann, die speziell für die Aufgabe trainiert wurden, was beweist, dass eine kluge Orchestrierung genauso kraftvoll ist wie schweres Training.

Die Studie führte auch eine neue Art und Weise ein, den Erfolg zu messen, die die Voreingenommenheit automatisierter Richter umging. Oft sind die Sprachmodelle, die Antworten bewerten, zugunsten der Eloquenz voreingenommen und belohnen einen gut geschriebenen Satz, selbst wenn die Fakten falsch sind. Die Forscher entwickelten eine Methode, um zu prüfen, ob die Erklärung tatsächlich die korrekte Kategorie erwähnte, unabhängig davon, wie schön sie geschrieben war. Dieser „urteilsfreie“ Check bestätigte, dass ihre Methode, die Modelle mit einem vorhergesagten Label zu führen, der wahre Treiber ihres Erfolgs war. Es zeigte, dass der Engpass im Verständnis von Mikro-Aktionen nicht die Fähigkeit zu sehen oder zu sprechen ist, sondern die Fähigkeit, die Aktion an sich korrekt zu identifizieren.

Letztendlich bietet diese Forschung einen klaren Weg nach vorn für das Verständnis menschlichen Verhaltens durch Videos. Sie zeigt, dass wir das Rad nicht neu erfinden müssen, um schwierige Probleme zu lösen. Indem wir die Stärken und Schwächen der Werkzeuge verstehen, die wir bereits besitzen, und indem wir sie in einer logischen Sequenz anordnen, können wir Fähigkeiten freisetzen, die zuvor unerreichbar waren. Die Fähigkeit, die subtilen, unwillkürlichen Bewegungen des menschlichen Körpers genau zu lesen, hat tiefgreifende Auswirkungen auf Bereiche, die von der psychologischen Diagnostik bis hin zur Mensch-Computer-Interaktion reichen. Die Forscher haben gezeigt, dass künstliche Intelligenz mit dem richtigen Ansatz lernen kann, das Unsichtbare zu sehen – nicht indem sie komplexer wird, sondern indem sie durchdachter wird.