Sandboxed Coding Agents are Competitive Omni-modal Task Solvers
Dieses Paper zeigt auf, dass rein textbasierte Coding-Agenten, die mit sandboxed Tools ausgestattet sind, komplexe Audio-Video-Aufgaben effektiv lösen können, indem sie multimodale Probleme in Informationsverarbeitungsworkflows umwandeln, wobei sie oft native omnimodale Modelle übertreffen, während sie gleichzeitig das Code-X Trainingsrezept und den TerminalBench-O Benchmark einführen, um die Open-Source-Verarbeitung vieler Modalitäten voranzutreiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: Der „Schlaue Praktikant“ vs. das „Supergenie“
Stellen Sie sich vor, Sie haben ein riesiges, komplexes Puzzle aus Videoclips, Audioaufnahmen und Dokumenten. Sie müssen es lösen.
Lange Zeit ging die Tech-Welt davon aus, dass man dafür ein „Supergenie“ (eine native omnimodale KI) benötigt. Dieses Supergenie ist ein Modell, das die gesamte Video- und Audiodatei im Ganzen „verschlungen“ hat und versucht, jedes einzelne Frame und jede Schallwelle gleichzeitig in seinem Gehirn zu verstehen.
Dieses Paper argumentiert, dass man dafür gar kein Supergenie braucht. Stattdessen kann man einen „Schlauen Praktikanten“ (einen Coding-Agenten) einsetzen.
Der Schlaue Praktikant versucht nicht, das ganze Video zu verschlingen. Stattdessen besitzt er einen Werkzeugkasten. Er schaut sich die Datei an, schnappt sich ein spezifisches Werkzeug (wie einen Videobearbeiter oder eine Speech-to-Text-Maschine), extrahiert genau das kleine Stück Information, das er benötigt (wie ein Transkript oder ein bestimmtes Frame), und löst dann das Puzzle mit diesem kleinen Beweisstück.
Die Hauptthese des Papers: Der Schlaue Praktikant ist mit seinen Werkzeugen tatsächlich schneller, günstiger und oft besser darin, diese Puzzles zu lösen, als das Supergenie, das versucht, alles auf einmal auswendig zu lernen.
Wie der „Schlaue Praktikant“ arbeitet
Stellen Sie sich den Schlauen Praktikanten wie einen Detektiv in einer Bibliothek vor.
- Der alte Weg (Native Modelle): Das Supergenie betritt die Bibliothek und versucht, jedes Buch zu lesen, jedes Audiokassetten anzuhören und jeden Film in den Regalen gleichzeitig zu schauen. Es wird überfordert, verbraucht viel Energie (Tokens) und übersieht manchmal Details, weil es versucht, zu viel auf einmal zu verarbeiten.
- Der neue Weg (Sandboxed Agents): Der Schlaue Praktikant betritt die Bibliothek, nimmt aber nur die spezifischen Bücher oder Kassetten mit, die er wirklich braucht.
- Wenn er wissen muss, was jemand gesagt hat, nutzt er ein Speech-to-Text-Werkzeug, um das Audio in ein geschriebenes Transkript umzuwandeln.
- Wenn er wissen muss, was in einem Video passiert, nutzt er ein Frame-Extraction-Werkzeug, um einige Schlüsselbilder herauszuziehen.
- Dann liest er dieses Transkript oder schaut sich diese Bilder an, um die Frage zu beantworten.
Das Ergebnis: Der Schlaue Praktikant verbraucht viel weniger Energie (weniger „Tokens“), weil er nicht die ganze Bibliothek im Kopf trägt. Er trägt nur die spezifischen Beweise bei sich, die er gerade braucht.
Die Beweise: Wer gewinnt das Rennen?
Die Forscher haben dies in vier verschiedenen „Puzzle-Wettbewerben“ (Benchmarks) mit Videos und Audio getestet.
- Die Ergebnisse: Die Schlauen Praktikanten (unter Verwendung von Modellen wie GPT-5.4 und Claude Opus) besiegten die besten Supergenie-Modelle (wie Gemini 3.1 Pro) in mehreren Kategorien.
- Die Analogie: Es ist wie ein Rennen zwischen einer Person, die versucht, eine ganze Enzyklopädie auswendig zu lernen, um eine Trivia-Frage zu beantworten, und einer Person, die genau weiß, auf welcher Seite sie im Bibliotheksregister nachschlagen muss. Die Person mit dem Register gewinnt, weil sie effizient und präzise ist.
Warum gewinnen sie? (Der „Werkzeug“-Vorteil)
Das Paper fand heraus, dass die Schlauen Praktikanten gewinnen, weil sie das Video/Audio als Rohmaterial behandeln, das verarbeitet werden muss, und nicht als Erinnerung, die gespeichert werden muss.
- Selektive Abfrage: Anstatt ein 90-minütiges Fußballspiel zu schauen, um ein einzelnes Tor zu finden, scannt der Praktikant das Video mit einem Werkzeug nach „Tor“-Ereignissen und schaut sich nur diese 30 Sekunden an.
- Fehlerkorrektur: Wenn ein Werkzeug versagt (z. B. die Speech-to-Text-Maschine durch Rauschen verwirrt wird), kann der Praktant ein anderes Werkzeug ausprobieren oder ein kleines Skript schreiben, um den Fehler zu beheben. Ein Supergenie bleibt bei dem Rauschen oft einfach stecken.
Was geht schief? (Die Fehler-Taxonomie)
Auch die Schlauen Praktikanten machen Fehler. Die Forscher haben ein „Fehler-Menü“ erstellt, um zu erklären, warum:
- Schlechtes Gehör: Das Speech-to-Text-Werkzeug hat das Audio falsch verstanden.
- Schlechte Augen: Das Werkzeug hat das falsche Video-Frame ausgewählt.
- Zu frühes Aufgeben: Der Agent hat aufgehört, nach Hinweisen zu suchen, bevor er die Antwort fand.
- Falsche Fakten: Er hat das richtige Video gefunden, aber die falschen Informationen in einer Datenbank nachgeschlagen.
- Rechenfehler: Er hatte die richtigen Fakten, hat aber die Berechnung falsch durchgeführt.
- Defekte Werkzeuge: Die Software, die das Werkzeug ausführen sollte, war nicht installiert.
Kann man den Praktikanten besser lehren? (Skill Injection)
Die Forscher fragten sich: „Können wir den Praktanten noch schlauer machen, ohne sein Gehirn neu zu bauen?“
Sie probierten drei Methoden aus:
- Menschliches Coaching: Dem Praktanten ein Handbuch zu geben, das von Experten geschrieben wurde.
- Selbstes Üben: Den Praktanten versuchen, scheitern und seine eigenen Regeln basierend auf einer einfachen „Richtig/Falsch“-Prüfung anpassen zu lassen.
- Lernen aus Protokollen: Eine zweite KI die Arbeitsprotokolle des Praktanten beobachten zu lassen, Muster zu finden, was funktionierte und was nicht, und daraus einen neuen „Best Practices“-Leitfaden für den Praktanten zu schreiben.
Der Gewinner: Das Log-driven Self-Distillation (Lernen aus Protokollen) funktionierte am besten. Es war so, als würde ein Coach das Spielvideo des Praktanten analysieren und sagen: „Du vergisst immer, den Zeitstempel zu prüfen, bevor du die Zeit errätst.“ Dies verbesserte die Genauigkeit des Praktanten erheblich.
Die Zukunft: Von „Verstehen“ zu „Tun“
Das Paper argumentiert, dass wir uns von einer Ära bewegen, in der KI Medien nur versteht (Fragen zu einem Video beantwortet), hin zu einer Ära, in der KI Medien verarbeitet (das Video schneidet, das Audio bearbeitet, eine neue Datei erstellt).
Sie führten einen neuen Test namens TerminalBench-O ein, um dies zu messen.
- Die Aufgabe: Anstatt nur zu fragen „Wer ist in diesem Video?“, muss die KI einen Highlight-Clip erstellen, eine Bildunterschrift schreiben und die Datei speichern.
- Die Herausforderung: Das ist viel schwieriger. Selbst die besten KIs bestanden nur etwa 24 % dieser Aufgaben. Es erfordert eine langfristige Planung und den zuverlässigen Einsatz von Werkzeugen – das ist die nächste Grenze für diese „Schlauen Praktikanten“.
Zusammenfassung
Man braucht kein riesiges, teures Gehirn, das jedes Video und jeden Ton auswendig lernt, um komplexe Probleme zu lösen. Man braucht einen klugen, effizienten Agenten, der weiß, wie man Werkzeuge benutzt, um die spezifischen Beweise zu extrahieren, die er benötigt. Dieser Ansatz ist billiger, schneller und oft genauer, als zu versuchen, alles auf einmal zu „verstehen“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.