Zero-MELO: Test-Time Evidence Calibration with Multimodal LLMs for Zero-Shot Micro-Gesture Recognition
Zero-MELO ist ein neuartiges Framework zur Evidenzkalibrierung zur Testzeit, das die Zero-Shot-Mikrogestenerkennung in multimodalen großen Sprachmodellen durch den Einsatz eines Baumsuchmechanismus zur Erfassung feingranularer visueller Evidenz und eines Kalibrierungsmoduls zur Milderung von Score-Biases verbessert und dadurch bestehende Baselines auf Benchmark-Datensätzen signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die menschliche Bewegung ist eine Sprache für sich, die nicht nur durch ausladende Gesten wie ein Winken oder einen Daumen nach oben gesprochen wird, sondern auch durch die flüchtigen, fast unsichtbaren Veränderungen des Körpers. Dies sind Mikrogesten: das subtile Kratzen am Kiefer, das kurze Verschränken der Finger oder das leichte Straffen der Lippen. Jahrzehntelang haben Forscher diese winzigen Bewegungen untersucht, da sie oft offenbaren, was eine Person fühlt oder denkt, noch bevor sie spricht. Es war jedoch eine hartnäckige Herausforderung, Computern beizubringen, diese flüchtigen Signale zu erkennen. Die Bewegungen sind zu schnell, zu klein und zu stark von Person zu Person variierend, als dass Standardwerkzeuge zur Videoanalyse sie zuverlässig erfassen könnten.
In den letzten Jahren ist eine neue Generation künstlicher Intelligenz bekannt geworden, die als multimodale große Sprachmodelle bezeichnet wird. Diese Systeme sind bemerkenswert gut darin, Bilder und Videos im allgemeinen Sinne zu verstehen; sie können eine Szene beschreiben, einen Hund identifizieren oder ein komplexes Ereignis erklären. Doch als Forscher versuchten, diese leistungsstarken Modelle einzusetzen, um die winzigen, spezifischen Bewegungen von Mikrogesten zu entdecken, waren die Ergebnisse enttäuschend. Die Modelle übersahen die subtile Aktion oft gänzlich und raten stattdessen basierend darauf, wie die Person aussah oder was das Modell zu sehen erwartete, anstatt auf das zu reagieren, was tatsächlich in dem Video geschah. Es war, als ob die Modelle das Gesamtbild betrachteten, aber versäumten, das kleine, entscheidende Detail wahrzunehmen, das die Antwort enthielt.
Ein Team von Forschern setzte sich zum Ziel zu verstehen, warum diese fortschrittlichen Modelle bei einer solch spezifischen Aufgabe scheiterten, und fand einen Weg, dies zu beheben, ohne die Modelle von Grund auf neu trainieren zu müssen. Sie entdeckten, dass das Problem nicht darin bestand, dass den Modellen die Fähigkeit fehlte, die Bewegung zu sehen, sondern dass sie nicht an der richtigen Stelle suchten und von ihren eigenen internen Erwartungen in die Irre geführt wurden. Die Modelle neigten dazu, sich zu sehr auf Sprachmuster zu verlassen, die sie aus Texten gelernt hatten, und ratierten die Antwort basierend auf der Fragestellung, anstatt auf dem Video. Sie konzentrierten sich zudem oft auf die falschen Körperteile und übersahen die spezifische Hand- oder Gesichtsbewegung, die die Geste definierte.
Um dies zu lösen, entwickelten die Forscher eine neue Methode namens Zero-MELO. Anstatt das Modell zu bitten, sofort eine einzige Antwort zu geben, entwarfen sie einen Prozess, der das Modell dazu zwingt, wie ein aufmerksamer Beobachter zu agieren. Zuerst bittet das System das Modell, das Video zu betrachten und zu identifizieren, welche Körperteile relevant sein könnten, wie etwa die Hände, das Gesicht oder der Nacken. Dann führt es das Modell dazu, in diese spezifischen Bereiche hineinzuzoomen, um eine Reihe von Nahaufnahmen zu erstellen und so bessere Beweise zu sammeln. Dies ist vergleichbar mit einem Menschen, der die Augen zusammenkneift und näher an einen Bildschirm herangeht, um ein kleines Detail zu sehen, doch der Computer tut dies systematisch über das gesamte Video hinweg.
Sobald das Modell diese detaillierten, lokalisierten Ansichten gesammelt hat, wendet das System einen zweiten Schritt an, um seine eigenen Voreingenommenheiten zu korrigieren. Die Forscher fanden heraus, dass die Modelle oft eine starke Tendenz hatten, bestimmte häufige Antworten zu raten, unabhängig vom Videoinhalt. Um dem entgegenzuwirken, bittet das System das Modell, sich das Video ohne jegliche Bewegung oder visuelle Details vorzustellen, und anschließend erneut nur mit dem statischen Erscheinungsbild der Person. Durch den Vergleich dieser „Was-wäre-wenn“-Szenarien mit dem tatsächlichen Video kann das System die falschen Vermutungen des Modells eliminieren und sich auf die wahren visuellen Beweise konzentrieren. Schließlich kombiniert das System alle Informationen aus den verschiedenen Zoom-Ansichten und den korrigierten Werten, um eine endgültige Entscheidung zu treffen.
Die Ergebnisse dieses Ansatzes waren signifikant. Als die Methode an Standarddatensätzen getestet wurde, die Tausende von Beispielen für Mikrogesten enthielten, verbesserte sie die Genauigkeit der Modelle dramatisch. In einem Datensatz stieg die Erfolgsquote von etwa sechzehn Prozent auf fast siebenundzwanzig Prozent, und in einem anderen verdoppelte sie sich mehr als von zehn Prozent auf über zweiundzwanzig Prozent. Diese Zahlen stellen einen erheblichen Fortschritt dar und zeigen, dass die Modelle durchaus in der Lage waren, diese subtilen Bewegungen zu verstehen, sofern sie dazu angeleitet wurden, genau hinzusehen und sorgfältig nachzudenken.
Die Studie legt nahe, dass die Einschränkungen aktueller künstlicher Intelligenz beim Verständnis feingliedriger menschlicher Bewegung nicht unbedingt ein Mangel an Intelligenz sind, sondern ein Mangel an den richtigen Werkzeugen, um die Aufmerksamkeit zu steuern. Indem die Forscher die Modelle lehrten, nach spezifischen Beweisen zu suchen und ihre eigenen Annahmen zu hinterfragen, demonstrierten sie, dass diese Systeme viel zuverlässiger gemacht werden können, wenn Aufgaben eine scharfe Beobachtungsgabe erfordern. Diese Arbeit verbessert nicht nur eine einzelne Aufgabe; sie bietet eine neue Denkweise darüber, wie man der künstlichen Intelligenz helfen kann, die Welt mit derselben Präzision und Detailgenauigkeit zu sehen, die Menschen nutzen, wenn sie die subtile Sprache des Körpers beobachten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.