OmniGAIA: Towards Native Omni-Modal AI Agents

Die Arbeit stellt OmniGAIA, ein umfassendes Benchmark für omni-modale Agenten, und OmniAtlas, einen nativen omni-modalen Basis-Agenten mit Werkzeugintegration und aktiver Wahrnehmung, vor, um die Lücke zwischen aktuellen zweimodalen Modellen und zukünftigen KI-Assistenten zu schließen.

Das Wesentliche

Stellen Sie sich vor, Sie wollen einen super-intelligenten Assistenten bauen, der nicht nur lesen kann, sondern auch sieht, hört und versteht, wie ein echter Mensch.

Das ist genau das Ziel der Forscher hinter dem Papier „OmniGAIA". Hier ist die Geschichte davon, einfach erklärt:

1. Das Problem: Der „Halb-Blinde" Roboter

Bisher waren die besten KI-Assistenten wie ein Zweibeiner, der nur auf einem Bein stehen kann.

• Sie konnten Bilder sehen und Texte lesen (Visuell + Sprache).
• Oder sie konnten Töne hören und Texte lesen (Audio + Sprache).
• Aber niemand konnte wirklich alles gleichzeitig verarbeiten: ein Video ansehen, den Ton dazu hören, die Bilder verstehen und dann noch im Internet nachfragen, um eine komplexe Frage zu beantworten.

Die aktuellen KIs sind wie ein Detektiv, der nur die Augen hat, aber keine Ohren – oder umgekehrt. Wenn Sie ihm ein Video zeigen, in dem jemand über einen Fluss spricht und im Hintergrund eine Sirene zu hören ist, verpassen sie oft den Zusammenhang.

2. Die Lösung: OmniGAIA (Der Prüfungsraum)

Die Forscher haben einen neuen Prüfungsraum namens OmniGAIA gebaut. Stellen Sie sich das wie einen extrem schwierigen Schnitzeljagd-Spiel vor.

• Die Aufgabe: Der Roboter bekommt ein Video oder ein Bild mit Ton.
• Die Falle: Die Frage ist nicht einfach „Was ist das?". Sie ist wie ein Rätsel: „Im Video sehen wir eine Brücke, die an einen Film erinnert. Wie heißt sie und wie alt war sie, als der Film gedreht wurde?"
• Die Werkzeuge: Um das zu lösen, darf der Roboter nicht nur raten. Er muss Werkzeuge benutzen:
  • Er muss ins Internet googeln (Web-Suche).
  • Er muss Code schreiben, um Zahlen zu rechnen.
  • Er muss das Video genau ansehen (nicht nur einen schnellen Blick werfen).

Das Besondere an OmniGAIA ist, dass es 360 solcher Rätsel aus der echten Welt gibt – von Geschichte über Sport bis hin zu Filmen. Es ist der härteste Test, den es bisher für diese Art von KI gibt.

3. Der Held: OmniAtlas (Der neue Super-Agent)

Die Forscher haben nicht nur den Test gebaut, sondern auch einen neuen Helden geschaffen: OmniAtlas.

Stellen Sie sich OmniAtlas vor wie einen neugierigen Detektiv, der zwei Superkräfte hat:

1. Aktives Sehen und Hören:
   Früher haben KIs Videos wie ein Blurry-Foto betrachtet – alles wurde heruntergezoomt, um Platz zu sparen. OmniAtlas hingegen ist wie ein Mikroskop. Wenn er etwas Wichtiges im Video sieht (z. B. ein Schild im Hintergrund), sagt er: „Moment mal, ich schaue mir genau diesen 5-Sekunden-Ausschnitt nochmal genauer an!" Er sucht gezielt nach Hinweisen, statt alles oberflächlich zu überfliegen.

2. Der Werkzeug-Gürtel:
   OmniAtlas denkt nicht nur nach, er handelt. Wenn er unsicher ist, zieht er seinen Werkzeug-Gürtel:

   • „Ich weiß nicht, wann der Film gedreht wurde? Ich google das jetzt!"
   • „Ich muss die Jahre berechnen? Ich lasse meinen Code-Rechner das machen!"

4. Wie lernt er das? (Der Trainings-Coach)

Wie bringt man einem Roboter bei, so zu denken? Die Forscher haben eine clevere Methode namens „Hindsight-Guided Tree Exploration" (Rückblick-gesteuerte Baumerkundung) entwickelt.

Stellen Sie sich vor, OmniAtlas ist ein Schüler, der eine Matheaufgabe löst.

• Der alte Weg: Er macht die Aufgabe, bekommt ein „Falsch" und lernt nichts.
• Der neue Weg (OmniAtlas): Der Lehrer (eine stärkere KI) schaut sich an, wo genau der Fehler passiert ist. War es das Sehen? War es das Suchen im Internet? War es das Rechnen?
  • Der Lehrer sagt: „Du hast das Video richtig gesehen, aber du hast das falsche Wort im Internet gesucht. Nächstes Mal suchst du anders."
  • Dieser Prozess wird millionenfach wiederholt, bis der Schüler perfekt wird.

5. Das Ergebnis: Ein großer Sprung

Als sie den Test (OmniGAIA) machten, passierte Folgendes:

• Die besten bisherigen KIs (die „Privat-Schüler") kamen auf etwa 62 Punkte.
• Die besten offenen KIs (die „Öffentlichen Schüler") lagen bei nur 13 Punkten – sie waren völlig überfordert.
• Aber: Als sie OmniAtlas auf die öffentlichen KIs anwendeten, schossen diese von 13 auf 21 Punkte hoch.

Das ist wie wenn ein Schüler, der vorher kaum lesen konnte, plötzlich komplexe Rätsel lösen kann, weil er gelernt hat, Werkzeuge richtig zu nutzen und genau hinzuschauen.

Fazit

Dieses Papier zeigt uns den Weg zu einem echten Allround-Assistenten.
Früher waren KIs wie ein Bibliothekar, der nur Bücher lesen konnte.
Mit OmniGAIA und OmniAtlas bauen wir einen Archäologen, der:

1. Die Erde (Video/Audio) genau untersucht.
2. Die alten Karten (Internet) konsultiert.
3. Die Werkzeuge (Rechner) benutzt.
4. Und am Ende die Geschichte der Welt erzählt.

Es ist ein großer Schritt hin zu KI, die wirklich so funktioniert, wie wir Menschen: Sehen, Hören, Denken und Handeln in einem einzigen, nahtlosen Fluss.

Technische Zusammenfassung

1. Problemstellung

Menschliche Intelligenz verbindet nahtlos multimodale Wahrnehmung (Sehen, Hören, Sprache) mit komplexem logischem Schlussfolgern und dem Einsatz von Werkzeugen, um mit der Welt zu interagieren. Aktuelle Multimodal-Large-Language-Modelle (MLLMs) sind jedoch primär auf bimodale Interaktionen (z. B. Bild-Sprache oder Audio-Sprache) beschränkt. Sie fehlen die einheitlichen kognitiven Fähigkeiten, die für allgemeine KI-Assistenten in realen Szenarien erforderlich sind.

Bestehende Benchmarks konzentrieren sich oft auf kurze Medienclips und reine Wahrnehmungsaufgaben, vernachlässigen aber langfristiges Schlussfolgern (Long-Horizon Reasoning) und die Integration von externen Werkzeugen (wie Websuche oder Code-Execution) für überprüfbare, offene Antworten. Es fehlt ein Benchmark, der Agenten testet, die Video, Audio und Text gleichzeitig verarbeiten und dabei mehrstufige Werkzeugeinsatzstrategien anwenden müssen.

2. Methodik

Die Arbeit stellt zwei Hauptkomponenten vor: den Benchmark OmniGAIA und den Agenten OmniAtlas.

A. OmniGAIA: Der Benchmark

OmniGAIA ist ein anspruchsvoller Benchmark für native omni-modale Agenten, der 360 Aufgaben über 9 reale Domänen (z. B. Geografie, Geschichte, Technologie) umfasst.

• Datensätze: Er besteht aus zwei Settings: „Video mit Audio" und „Bild + Audio". Die Daten stammen aus hochwertigen Quellen wie FineVideo, LongVideoBench und COCO 2017.
• Konstruktionspipeline (Event-Graph): Die Aufgaben werden nicht manuell erstellt, sondern durch eine neuartige omni-modale Event-Graph-Pipeline synthetisiert:
  1. Datensammlung & Signal-Mining: Ein starkes Modell (Gemini-3-Flash) extrahiert feingranulare, zeitlich abgestimmte Signale (OCR, ASR, Objekterkennung, Ereignisbeschreibungen) aus den Rohdaten.
  2. Event-Graph-Erstellung: Ein Reasoning-Agent (DeepSeek-V3.2) baut einen Graphen auf, der Entitäten, Ereignisse und deren cross-modale Beziehungen verknüpft.
  3. Agentische Graph-Erweiterung: Der Agent nutzt externe Werkzeuge (Web-Suche, Browser, Code-Executor, Cross-Modal-Retrieval), um fehlende Beweise für mehrstufige Fragen zu finden und den Graphen zu erweitern.
  4. Fuzzification & QA-Generierung: Wichtige Knoten oder Kanten im Graphen werden „verschleiert" (z. B. durch Ersetzen spezifischer Entitäten durch deren Typ), um mehrstufige Fragen zu generieren, die zwingend das Durchlaufen des gesamten logischen Pfades und den Einsatz von Werkzeugen erfordern.
  5. Qualitätssicherung: Eine Kombination aus LLM-Filterung und menschlicher Überprüfung stellt sicher, dass die Fragen lösbar, eindeutig und schwer sind.

B. OmniAtlas: Der Native Agent

OmniAtlas ist ein nativer omni-modaler Basis-Agent, der das Paradigma des Tool-Integrated Reasoning (TIR) verfolgt.

• Aktive Wahrnehmung: Im Gegensatz zu passiven Modellen, die Medien komplett down-samplen, kann OmniAtlas gezielt Segmente oder Bildbereiche abrufen (read_video, read_audio, read_image), um Details zu prüfen, ohne den Kontext zu verlieren.
• Trainingsstrategie:
  1. Trajektorien-Synthese: Hochwertige Lösungspfade werden durch eine hindsight-gesteuerte Baumexploration generiert. Ein Verifizierer (Gemini-3-Flash) schneidet falsche Pfade ab, und nur erfolgreiche Trajektorien werden gespeichert.
  2. Supervised Fine-Tuning (SFT): Das Modell wird auf diesen Trajektorien trainiert, wobei nur die vom Agenten generierten Tokens (Gedanken und Werkzeugaufrufe) für den Loss berechnet werden, nicht jedoch die Werkzeug-Outputs (um Rauschen zu vermeiden).
  3. OmniDPO (Fine-Grained Error Correction): Um spezifische Fehler zu korrigieren, wird eine Präferenzoptimierung (DPO) eingesetzt. Für fehlgeschlagene Trajektorien wird der erste Fehler identifiziert, und ein korrigiertes Präfix wird als positives Beispiel gegenüber dem fehlerhaften Pfad verwendet. Dies verbessert gezielt Wahrnehmung, Schlussfolgern und Werkzeugnutzung.

3. Hauptergebnisse

Die Experimente auf OmniGAIA zeigen, dass die Aufgabe für aktuelle Modelle extrem schwierig ist:

• Leistungslücke: Das stärkste proprietäre Modell (Gemini-3-Pro) erreicht 62,5 % Pass@1, während das beste Open-Source-Modell (Qwen3-Omni) nur 13,3 % erreicht.
• Skalierung allein reicht nicht: Größere Modelle (z. B. LongCat-Flash-Omni mit 560B Parametern) schneiden schlechter ab als kleinere, aber besser trainierte Modelle, was darauf hindeutet, dass Agenten-Fähigkeiten (Werkzeugnutzung) wichtiger sind als reine Parameterzahl.
• Effektivität von OmniAtlas: Durch die Anwendung der OmniAtlas-Trainingspipeline konnte Qwen3-Omni von 13,3 % auf 20,8 % verbessert werden. Bei kleineren Backbones (Qwen-2.5-Omni-7B) sogar von 3,6 % auf 13,3 %.
• Fehleranalyse: Die häufigsten Fehlerquellen sind ineffektive Werkzeugnutzung (bis zu 96 % bei schweren Aufgaben) und Schlussfolgerungsfehler, nicht mangelnde Sprachverständnis. Proprietäre Modelle zeigen hier deutlich robustere Planungs- und Verifikationsfähigkeiten.
• Werkzeugnutzung: Modelle, die keine oder zu wenige Werkzeuge nutzen, scheitern fast immer. Eine hohe Anzahl an Werkzeugaufrufen garantiert jedoch keinen Erfolg, wenn die Suchstrategie fehlerhaft ist („Thrashing").

4. Signifikanz und Beiträge

Diese Arbeit leistet einen wesentlichen Beitrag zur Entwicklung von nächsten Generationen nativer omni-modal KI-Assistenten:

1. Benchmark-Setzung: OmniGAIA füllt die Lücke zwischen reinen Wahrnehmungsbenchmarks und komplexen, agentischen Aufgaben, die langfristiges Denken und Werkzeugnutzung erfordern.
2. Skalierbare Konstruktion: Die Event-Graph-basierte Pipeline ermöglicht die automatische Generierung von harten, aber lösbaren Aufgaben aus realen Daten.
3. Praktische Trainingsmethode: OmniAtlas demonstriert, dass Open-Source-Modelle durch gezieltes Training (SFT + OmniDPO) und aktive Wahrnehmung erheblich verbessert werden können, auch wenn sie noch hinter proprietären Modellen zurückbleiben.
4. Einblick in Grenzen: Die Studie zeigt, dass native Wahrnehmung für starke Agenten unersetzlich ist, während reine Werkzeug-basierte Wahrnehmung (als Fallback) die Kosten erhöht und bei komplexen Aufgaben versagt.

Zusammenfassend markiert diese Arbeit einen wichtigen Schritt hin zu KI-Assistenten, die in der Lage sind, die reale Welt durch die Integration von Sehen, Hören, Sprache und Werkzeugen tiefgreifend zu verstehen und zu handeln.