Listening with the Eyes: Benchmarking Egocentric Co-Speech Grounding across Space and Time

Die Arbeit stellt mit EcoG-Bench ein strenges, mehrsprachiges Evaluierungsbenchmark für die egozentrische co-sprachliche Grounding vor, das zeigt, dass aktuelle multimodale Modelle aufgrund von Schnittstellenbeschränkungen bei der zeitlichen und räumlichen Verknüpfung von Sprache und Zeigegesten erheblich hinter menschlicher Leistung zurückbleiben.

Das Wesentliche

🎬 Der Film: "Hören mit den Augen"

Stell dir vor, du bist ein Roboter-Assistent in einer Küche. Dein menschlicher Partner steht neben dir und sagt:
"Gib mir das hier."

Er zeigt dabei mit dem Finger auf einen Apfel.

Das Problem? Wenn du nur auf die Worte hörst, weißt du nicht, was "das" ist. Es könnte der Apfel sein, die Schüssel daneben oder sogar der Löffel. Der Schlüssel zur Lösung liegt nicht im Text, sondern in der Zeit. Der Mensch zeigt genau in dem Moment auf den Apfel, in dem er das Wort "das" sagt.

Die Forscher von diesem Papier haben ein neues Testfeld namens EcoG (Egocentric Co-Speech Grounding) gebaut, um genau diese Fähigkeit zu prüfen: Kann ein KI-Modell nicht nur sehen und hören, sondern beides im richtigen Moment zusammenfügen?

---

🧩 Das Problem: Die "Text-Falle"

Bisher waren die meisten Tests für KI-Roboter wie ein Füllsel-Quiz.

• Frage: "Nimm den roten Apfel links."
• KI: "Ah, 'rot' und 'links'! Das ist einfach!"

Die KI musste sich nicht wirklich um die Handbewegung des Menschen kümmern. Sie konnte den Text lesen und war fertig. Das ist wie bei einem Schüler, der die Lösung eines Rätsels schon im Buch nachschlägt, bevor er es wirklich gelöst hat.

EcoG ändert das Spiel radikal:

• Frage: "Nimm das und leg es in das." (Während der Mensch auf zwei verschiedene Gegenstände zeigt).
• KI: "Oh nein! Welches 'das' war welches? Und wann genau hat er auf was gezeigt?"

Hier reicht reines Textverständnis nicht mehr. Die KI muss wie ein guter Tanzpartner sein: Sie muss den Takt (die Sprache) mit der Bewegung (dem Zeigen) synchronisieren.

---

📝 Der Test: Ein dreiteiliges Puzzle

Um zu bestehen, muss die KI bei jedem Befehl drei Dinge gleichzeitig richtig machen (das nennt die Forscher "Was, Wo, Wann"):

1. Was (What): Welches Objekt ist gemeint? (Der Apfel oder die Schüssel?)
2. Wo (Where): Wo genau muss ich greifen? (Nicht nur "in die Schüssel", sondern auf den genauen Pixel im Bild).
3. Wann (When): In welchem Millisekunden-Fenster hat der Mensch gezeigt? (Das ist der kritische Moment, in dem die Bedeutung festgelegt wird).

Wenn die KI auch nur bei einer dieser drei Fragen einen Fehler macht, gilt der ganze Schritt als gescheitert. Das ist wie beim Fliegen: Wenn du die Höhe, die Geschwindigkeit und die Richtung nur fast richtig hast, stürzt das Flugzeug trotzdem ab.

---

🤖 Die Ergebnisse: Die KI stolpert

Die Forscher haben die besten aktuellen KIs (wie Gemini oder Qwen) auf diesen Test angesetzt. Das Ergebnis war ernüchternd:

• Menschen: Schaffen es fast immer (97 % Erfolg). Für uns ist es natürlich, auf das Zeigen zu achten.
• KIs: Schaffen es kaum (oft unter 20 %).

Warum?
Die KIs sind super darin, Bilder zu erkennen ("Das ist ein Apfel"). Aber sie sind schlecht darin, den Zeitfluss zu verstehen. Sie sehen das Video und hören den Ton, aber sie können die feine Verbindung zwischen dem Wort "das" und dem Fingerzeig in der Millisekunde nicht herstellen. Es ist, als würde jemand versuchen, ein Orchester zu dirigieren, indem er nur die Notenblätter liest, aber das Taktmaß der Musiker ignoriert.

---

🔍 Die Diagnose: Der "Stützpfeiler"-Effekt

Das Spannendste an der Studie ist der zweite Teil: Die Forscher haben den KIs geholfen, indem sie ihnen die Antwort nicht direkt gegeben, sondern ihnen bessere Werkzeuge an die Hand gegeben haben.

Statt dem KI-Modell das rohe Video zu geben, haben sie es so gefüttert:

• Einzelne Bilder (Frames) mit einem Zeitstempel (z. B. "Bild 1: 0,5 Sekunden").
• Einen Text-Transkript der Sprache mit Zeitmarken für jedes Wort (z. B. "Wort 'das': 0,5 bis 0,6 Sekunden").

Das Ergebnis war dramatisch:
Die KI-Leistung sprang von 17 % auf fast 43 % (bei manchen Modellen sogar noch höher)!

Die Metapher:
Stell dir vor, du versuchst, einen Tanz zu lernen, indem du nur das Video ansiehst. Das ist schwer. Aber wenn dir jemand sagt: "Bei Sekunde 3,2 mach einen Schritt nach links, genau wenn die Musik den Schlag macht", dann klappt es viel besser.

Die KIs haben das Wissen, aber die Schnittstelle (wie wir ihnen das Video und den Ton geben) ist zu ungenau. Sie bekommen die zeitlichen Hinweise nicht klar genug geliefert, um sie zu nutzen.

---

💡 Das Fazit

Diese Studie sagt uns zwei wichtige Dinge:

1. Roboter müssen "zusehen" lernen: Bisher waren Roboter zu sehr auf Text angewiesen. Echte Zusammenarbeit erfordert, dass sie auf die nonverbalen Signale (Zeigen, Nicken) im richtigen Moment achten.
2. Wir müssen KIs besser "bedienen": Es reicht nicht, einfach ein Video hochzuladen. Wir müssen den KIs helfen, die Zeit zu verstehen, indem wir ihnen klare Zeitstempel geben. Wenn wir das tun, werden sie plötzlich viel besser darin, mit uns zu kooperieren.

Kurz gesagt: Die KI kann die Sprache verstehen, aber sie muss noch lernen, den Rhythmus der menschlichen Kommunikation zu spüren. Und wir müssen ihr dabei helfen, diesen Rhythmus zu hören.

Technische Zusammenfassung

1. Problemstellung

In der situierten menschlichen Zusammenarbeit nutzen Sprecher häufig absichtlich unterbestimmte deiktische Befehle (z. B. „Gib mir das" oder „Leg es hierhin"), anstatt exhaustive Beschreibungen zu liefern. Die Referenz (das gemeinte Objekt) wird dabei nicht durch den Text allein geklärt, sondern durch die zeitliche Synchronisation mit einem begleitenden Zeigegesten-Streich (Co-Speech Gesture).

Das zentrale Problem besteht darin, dass bestehende Benchmarks für Embodied AI und Grounding oft „text-suffizient" sind. Das bedeutet, die Anweisungen enthalten so viele semantische Details (Farben, Positionen), dass ein Modell das Ziel rein aus dem Text ableiten kann, ohne die Audio-Visuelle Ausrichtung (Alignment) zu lernen. Dies führt zu einem „Shortcut", bei dem Multimodale Large Language Models (MLLMs) gut abschneiden, ohne die für die echte Zusammenarbeit notwendige Fähigkeit zu besitzen, Sprache mit kurzzeitigen Gesten-Ereignissen auf Videoebene zu verknüpfen. Es fehlt ein Testumfeld, das prüft, ob Agenten in der Lage sind, deiktische Phrasen präzise mit dem korrekten Zeigegesten-Streich im Zeitverlauf zu binden, um eine ausführbare Absicht (What, Where, When) zu generieren.

2. Methodik: EcoG und EcoG-Bench

Um diese Lücke zu schließen, stellen die Autoren EcoG (Egocentric Co-Speech Grounding) und das dazugehörige EcoG-Bench vor.

Aufgabenformulierung (EcoG):
Die Aufgabe besteht darin, für jeden deiktischen Referenten in einer Anweisung eine ausführbare Triplet-Vorhersage zu treffen:

• What: Semantische Identifikation des Ziels (aus einer geschlossenen Liste von Kandidaten).
• Where: Eine präzise 2D-Koordinate auf dem letzten Frame des Videos (als „Landepunkt" für eine Aktion).
• When: Ein Zeitstempel in Millisekunden, der innerhalb des annotierten Fensters des disambiguierenden Zeigegesten-Streichs liegen muss.

EcoG-Bench (Datenbank):

• Umfang: 811 egozentrische Video-Clips (4–12 Sekunden) mit synchronisiertem Audio.
• Sprachen: Bilingual (Englisch und Chinesisch).
• Domänen: Industrie, Küche, Büro.
• Annotation: Dichte räumliche Annotationen (Masken/Punkte) und Millisekunden-genaue Zeitfenster für Gesten-Streiche.
• Protokoll: Ein progressives kognitives Evaluierungsprotokoll (L1–L4), das die Komplexität steigert:
  • L1: Stummes Zeigen (nur visuelle Deixis).
  • L2: Einzel-Ereignis-Bindung (ein deiktisches Wort + ein Gesten-Streich).
  • L3: Dual-Ereignis-Zuweisung (Zuordnung von zwei deiktischen Hinweisen zu zwei verschiedenen Streichen im selben Clip).
  • L4: Multi-Ereignis-Intent-Kettenbildung (3–4 Referenten mit sequenzieller Abhängigkeit).

Metriken:
Die Evaluation erfolgt unter strengen „ausführbarkeitsorientierten" Kriterien:

• Eco-Accuracy ($Acc_{eco}$): Eine konjunktive Metrik. Ein Referent ist nur dann korrekt, wenn What, Where und When gleichzeitig korrekt sind.
• Sequence Accuracy ($Acc_{seq}$): Ein ganzer Clip ist nur dann erfolgreich, wenn alle Referenten in der Anweisung korrekt gelöst sind (keine Kaskadierung von Fehlern erlaubt).

3. Wichtige Beiträge

1. Neue Aufgabe (EcoG): Einführung einer Aufgabe, die die Bindung von Sprache an transienten visuellen Ereignisse (Gesten-Streiche) erfordert, um eine ausführbare Absicht zu erzeugen.
2. Benchmark (EcoG-Bench): Erstellung eines diagnostischen Benchmarks mit 811 Clips, der deiktische Mehrdeutigkeit, egozentrische Sicht, Audio und millisekundengenaue Gesten-Annotationen integriert.
3. Diagnose und Erkenntnisse: Aufdeckung einer großen Lücke zwischen menschlicher und maschineller Leistung sowie der Nachweis, dass die Multimodal-Schnittstelle (Input-Pipeline) ein kritischer Engpass für die zeitliche Ausrichtung ist.

4. Ergebnisse

Die Evaluation von State-of-the-Art-MLLMs (z. B. Gemini-3-Pro, Qwen3-Omni) unterstreicht erhebliche Defizite:

• Mensch-Maschine-Lücke: Menschen erreichen eine $Acc_{eco}$ von 96,9 %. Die besten Modelle liegen weit dahinter (Gemini-3-Pro: 17,0 %).
• Kompositioneller Abfall: Die Leistung bricht drastisch ein, sobald mehrere Referenten involviert sind. Von L2 (einzelnes Ereignis) zu L3 (zwei Ereignisse) fällt die $Acc_{eco}$ von ~29 % auf ~10 % (bei Gemini-3-Pro). Bei L4 (Kettenbildung) liegt die Sequenzerfolgsrate ($Acc_{seq}$) nahe Null (0,4 %).
• Semantik vs. Ausführung: Modelle können Objekte oft korrekt erkennen (hohe Klassifizierungsgenauigkeit), scheitern aber an der räumlich-zeitlichen Verankerung. Eine korrekte Objekterkennung garantiert keine ausführbare Handlung.
• Diagnose des Input-Stacks: Ein entscheidender Befund stammt aus einer ablativen Studie. Wenn die Eingabe von einem nativen Video-Audio-Stream auf eine strukturierte Kombination aus abgetasteten Frames mit Zeitstempeln + externer, verifizierter ASR-Transkription (mit Wort-Zeitstempeln) umgestellt wird, verbessert sich die Leistung von Gemini-3-Pro signifikant von 17,0 % auf 42,9 %.
  • Dies zeigt, dass native Video-Audio-Schnittstellen die für die Bindung notwendigen zeitlichen Anker (Temporal Anchors) oft nicht zuverlässig für das Modell zugänglich machen.

5. Bedeutung und Fazit

Das Paper zeigt, dass aktuelle Multimodale Modelle zwar starke semantische Fähigkeiten besitzen, aber bei der feingranularen, zeitlichen Ausrichtung von Sprache und Gesten in Echtzeit-Interaktionen versagen.

• Engpass der Schnittstelle: Die Ergebnisse deuten darauf hin, dass nicht nur die Modellarchitektur, sondern auch die Art und Weise, wie multimodale Daten (Video/Audio) in das Modell eingespeist werden, ein kritischer Flaschenhals ist. Explizite zeitliche Anker (wie Frame-Timestamps und Wort-Zeitstempel) sind notwendig, um die Synchronisation von Sprache und Gesten zu ermöglichen.
• Zukünftige Richtung: EcoG-Bench bietet einen strengen Test für die nächste Generation von Embodied Agents. Es fordert Modelle heraus, nicht nur zu „sehen" und „hören", sondern diese Modalitäten auf Ereignisebene zu verknüpfen, um in situierten, kooperativen Szenarien handlungsfähig zu sein.

Zusammenfassend etabliert das Paper einen neuen Standard für die Evaluation von „Co-Speech Grounding" und macht deutlich, dass die Fähigkeit, deiktische Sprache an visuelle Ereignisse zu binden, eine fundamentale Hürde für die autonome robotische Zusammenarbeit darstellt, die durch reine Skalierung von Sprachmodellen allein nicht gelöst wird.