💬 NLP

Sandboxed Coding Agents are Competitive Omni-modal Task Solvers

Dit artikel toont aan dat tekstgebaseerde coding agents uitgerust met gesandboxed tools effectief complexe audio-video taken kunnen oplossen door multimodale problemen om te zetten in informatieverwerkingsworkflows, waarbij ze vaak native omnimodale modellen overtreffen, terwijl ze ook de Code-X trainingsreceptuur en de TerminalBench-O benchmark introduceren om open-source verwerking van vele modaliteiten te bevorderen.

Oorspronkelijke auteurs: Dongping Chen, Xuanao Huang, Zhihan Hu, Qingyuan Shi, Dianqi Li, Tianyi Zhou

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dongping Chen, Xuanao Huang, Zhihan Hu, Qingyuan Shi, Dianqi Li, Tianyi Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Slimme Stagiair" versus de "Supergenie"

Stel je voor dat je een enorme, complexe puzzel hebt gemaakt van videoclips, audio-opnames en documenten. Je moet deze oplossen.

Lama lang nam de techwereld aan dat je een "Supergenie" (een native omnimodale AI) nodig had om dit op te lossen. Dit Supergenie is een model dat de hele video- en audiofile in zijn geheel heeft "opgegeten", in een poging om elke enkele frame en geluidsgolf tegelijkertijd in zijn brein te begrijpen.

Dit artikel betoogt dat je hiervoor eigenlijk geen Supergenie nodig hebt. In plaats daarvan kun je een "Slimme Stagiair" (een coderingsagent) gebruiken.

De Slimme Stagiair probeert niet de hele video door te slikken. In plaats daarvan heeft hij een gereedschapskist. Hij bekijkt het bestand, pakt een specifiek hulpmiddel (zoals een video-editor of een spraak-naar-tekst-machine), extraheert precies dat kleine stukje informatie dat hij nodig heeft (zoals een transcript of een specifieke frame) en lost vervolgens de puzzel op met dat kleine stukje bewijs.

De hoofdbetoging van het artikel: De Slimme Stagiair, met behulp van tools, is eigenlijk sneller, goedkoper en vaak beter in het oplossen van deze puzzels dan het Supergenie dat probeert alles tegelijk te onthouden.

Hoe de "Slimme Stagiair" werkt

Zie de Slimme Stagiair als een detective in een bibliotheek.

De Oude Manier (Native Modellen): Het Supergenie loopt de bibliotheek binnen en probeert elk boek te lezen, elke audiotape te beluisteren en elke film in de schappen tegelijkertijd te bekijken. Het raakt overweldigd, verbruikt veel energie (tokens) en mist soms details omdat het probeert te veel tegelijk te verwerken.
De Nieuwe Manier (Sandboxed Agents): De Slimme Stagiair loopt de bibliotheek binnen, maar neemt alleen de specifieke boeken of tapes mee die hij nodig heeft.
- Als hij wil weten wat iemand heeft gezegd, gebruikt hij een Spraak-naar-Tekst-tool om de audio om te zetten in een geschreven transcript.
- Als hij wil weten wat er in een video gebeurt, gebruikt hij een Frame-Extractie-tool om een paar belangrijke plaatjes eruit te halen.
- Vervolgens leest hij dat transcript of bekijkt hij die plaatjes om de vraag te beantwoorden.

Het Resultaat: De Slimme Stagiair verbruikt veel minder energie (minder "tokens") omdat hij niet de hele bibliotheek in zijn hoofd draagt. Hij draagt alleen het specifieke bewijs dat hij nodig heeft.

Het Bewijs: Wie wint de race?

De onderzoekers hebben dit getest op vier verschillende "puzzelwedstrijden" (benchmarks) met betrekking tot video en audio.

De Resultaten: De Slimme Stagiairs (met modellen zoals GPT-5.4 en Claude Opus) versloegen de beste Supergenie-modellen (zoals Gemini 3.1 Pro) in verschillende categorieën.
De Analogie: Het is als een race tussen een persoon die probeert een hele encyclopedie te onthouden om een trivia-vraag te beantwoorden, versus een persoon die precies weet welk paginanummer hij in een bibliotheekindex moet opzoeken. De persoon met de index wint, omdat die efficiënt en nauwkeurig is.

Waarom zij winnen? (Het "Tool"-voordeel)

Het artikel stelt vast dat de Slimme Stagiairs winnen omdat ze de video/audio behandelen als grondstoffen om te verwerken, en niet als herinneringen om op te slaan.

Selectieve Extractie: In plaats van een voetbalwedstrijd van 90 minuten te kijken om één doelpunt te vinden, gebruikt de Stagiair een tool om de video te scannen op "doelpunten"-gebeurtenissen en kijkt alleen naar die 30 seconden.
Foutcorrectie: Als een tool faalt (bijv. de spraak-naar-tekst-machine raakt in de war door ruis), kan de Stagiair een andere tool proberen of een klein script schrijven om het te herstellen. Een Supergenie blijft vaak simpelweg hangen in de ruis.

Wat gaat er mis? (De Foutentaxonomie)

Zelfs de Slimme Stagiairs maken fouten. De onderzoekers hebben een "foutmenu" opgesteld om uit te leggen waarom:

Slecht Gehoor: De spraak-naar-tekst-tool heeft de audio verkeerd verstaan.
Slechte Ogen: De tool koos de verkeerde videoframe.
Te Snel Opgeven: De agent stopte met zoeken naar aanwijzingen voordat het antwoord gevonden was.
Verkeerde Feiten: Het vond de juiste video, maar zocht de verkeerde informatie op in een database.
Slechte Rekensom: Het had de juiste feiten, maar voerde de berekening verkeerd uit.
Defecte Tools: De computer had niet de juiste software geïnstalleerd om de tool uit te voeren.

Kunnen we de Stagiair beter leren? (Skill Injection)

De onderzoekers vroegen zich af: "Kunnen we de Stagiair nog slimmer maken zonder zijn brein te herbouwen?"

Ze probeerden drie methoden:

Menselijke Coaching: De Stagiair een handleiding geven die door experts is geschreven.
Zelfoefenen: De Stagiair laten proberen, falen en zijn eigen regels aanpassen op basis van een simpele "Goed/Fout"-controle.
Leren van Logs: Een tweede AI de werklogs van de Stagiair laten bekijken, patronen vinden in wat wel en niet werkte, en een nieuwe "Best Practices"-gids voor de Stagiair schrijven.

De Winnaar: De Log-gedreven Zelf-distillatie (Leren van Logs) werkte het best. Het was alsof een coach de wedstrijdbeelden van de Stagiair bekeek en zei: "Je vergeet altijd de tijdstempel te controleren voordat je de tijd raadt." Dit verbeterde de nauwkeurigheid van de Stagiair aanzienlijk.

De Toekomst: Van "Begrijpen" naar "Doen"

Het artikel stelt dat we bewegen van een tijdperk waarin AI media alleen begrijpt (vragen beantwoorden over een video) naar een tijdperk waarin AI media verwerkt (de video bewerken, de audio knippen, een nieuw bestand maken).

Ze introduceerden een nieuwe test genaamd TerminalBench-O om dit te meten.

De Taak: In plaats van alleen te vragen "Wie zit er in deze video?", moet de AI een hoogtepunt-video maken, een bijschrift schrijven en het bestand opslaan.
De Uitdaging: Dit is veel moeilijker. Zelfs de beste AI slaagde slechts voor ongeveer 24% van deze taken. Het vereist lange planning en betrouwbaar gebruik van tools, wat de volgende grens is voor deze "Slimme Stagiairs".

Samenvatting

Je hebt geen gigantisch, duur brein nodig dat elke video en elk geluid onthoudt om complexe problemen op te lossen. Je hebt een slimme, efficiënte agent nodig die weet hoe hij tools moet gebruiken om de specifieke bewijslast te extraheren die hij nodig heeft. Deze aanpak is goedkoper, sneller en vaak nauwkeuriger dan proberen alles tegelijk te "begrijpen".

Technische Samenvatting: Sandboxed Coding Agents zijn Competitieve Omni-modale Taakoplossers

1. Probleemstelling

Naarmate multimodale Large Language Models (LLM's) steeds meer zich richten op video en audio, is de heersende aanname dat native omnimodale modellen—die audio- en videostreams direct in hun context opnemen—noodzakelijk zijn voor effectieve taakoplossing. Het implementeren van dergelijke modellen vereist echter aanzienlijke engineeringinspanning en modelleringsoverhead. Daartegenover staan veel bestaande agentische systemen (bijv. OpenClaw, Hermes) die tekst-only of tekst+beeld systemen blijven.

Dit paper onderzoekt een kritische kloof: Kunnen coding agents, die geen native video/audio perceptie hebben maar wel toegang hebben tot een sandboxed terminalomgeving, omnimodale taken oplossen door externe tools (bijv. ffmpeg, whisper, tesseract) te orkestreren om bewijslast te extraheren, in plaats van te vertrouwen op end-to-end perceptie? De auteurs dagen de noodzaak van native omnimodale architecturen uit voor taken die kunnen worden gedecomposeerd in retrieval en informatieverwerkingsproblemen.

2. Methodologie

2.1. Sandboxed Agent Framework

De auteurs evalueren coding agents binnen geïsoleerde werkruimtes (Ubuntu 22.04) waar ruwe mediabestanden (video, audio, afbeeldingen, documenten) als filesystem-objecten worden gepresenteerd in plaats van in de context van het model te worden verpakt.

Input: De agent ontvangt een instructie in natuurlijke taal en bestandspaden.
Proces: De agent interageert met de omgeving via een terminalinterface. Het schrijft en voert scripts uit om:
- Transcripten te extraheren (met behulp van whisper/ASR).
- Frames te samplen of regio's bij te snijden (met behulp van ffmpeg, ffprobe, OpenCV).
- OCR uit te voeren (tesseract).
- Webzoekopdrachten en metadata-analyse uit te voeren.
- Intermediaire artefacten (tabellen, logs, crops) te synthetiseren om een redeneertraject te vormen.
Output: Een definitief antwoord, geparsed uit het traject, doorgaans geformatteerd binnen een specifieke tag (bijv. <answer>).

2.2. Evaluatie Benchmarks

De studie maakt gebruik van vier benchmarks met verschillende accenten:

OmniGAIA: Open-ended, tool-gemedieerde feitelijke en multi-hop omnimodale redenering.
SocialOmni: Audio-visuele sociale perceptie en identiteitsherkenning.
LVOmniBench: Long-form audio-video begrip.
VideoZeroBench: Uitdagende video-gecentreerde redenering die spatio-temporeel bewijs vereist.

De auteurs vergelijken Sandboxed Coding Agents (gebruikmakend van Codex en Claude Code harnesses met modellen zoals GPT-5.4 en Claude Opus 4.6) met Native Omnimodale LLM's (Gemini 3.1 Pro, Qwen 3.5-Omni, MiMo-V2-Omni) en Predefined Multimodale Agent Scaffolds (OmniAgent, Agent-Omni).

2.3. Foutanalyse en Skill Injection

Om beperkingen te begrijpen, hebben de auteurs een Omni Terminal Failure Taxonomy geconstrueerd op basis van 200 geannoteerde trajecten, waarbij fouten zijn gecategoriseerd in:

Audio Perceptie en Extractie
Video Perceptie en Extractie
Onvoldoende Exploratie van Modale Inhoud
Kennisretrieval en Feitelijke Fouten
Logische Redenering en Berekening
Tool en Omgevingsinfrastructuur Fouten

Ze hebben verder Skill Injection verkend om prestaties te verbeteren zonder de basismodellen opnieuw te trainen:

Calibration-set self-iteration: Agents herzien vaardigheden op basis van binaire correctheidfeedback.
Log-driven self-distillation: Een aparte agent mijnt herbruikbare vaardigheden uit ruwe executietracen.
Human-in-the-loop Skills: Handmatig geschreven workflows die expertstrategieën coderen.

2.4. Open-Source Elicitatie (Code-X)

Om reproduceerbaarheid op open-source modellen aan te tonen, introduceerden de auteurs Code-X, een trainingsrecept dat bestaat uit:

OmniCoding Dataset: Een dataset van 6.035 voorbeelden van trajecten die video, audio, beeld en cross-modale taken beslaan.
Trainingspipeline: Supervised Fine-Tuning (SFT) gevolgd door Reinforcement Learning (RL) met behulp van Group Sequence Policy Optimization (GSPO).
Reward Design: Een procesbewuste, verifieerbare beloning die modality-skipping, malafide tool calls en antwoordmismatches bestraft, terwijl correcte formaten en tool-engagement worden beloond.

2.5. TerminalBench-O

In het besef dat begrip verschilt van verwerking, introduceerden de auteurs TerminalBench-O, de eerste proces-niveau benchmark voor coding agents op omnimodale verwerkingstaken (bijv. video's bewerken, databases auditeren). Het evalueert agents op real-world taken die langdurige planning, tool-chaining en strikte output-compliance vereisen.

3. Belangrijkste Resultaten

3.1. Prestatie Competitiviteit

Outperformen van Native Modellen: Op OmniGAIA bereikte de GPT-5.4 xHigh coding agent een nauwkeurigheid van 75.0%, waarmee het het sterkste native omnimodale model, Gemini 3.1 Pro (66.1%), met meer dan 8% versloeg. Claude Opus 4.6 overtrof Gemini 3.1 Pro ook met 2.5%.
Efficiëntie: Coding agents verbruikten aanzienlijk minder tokens dan native omnimodale modellen. Door selectief bewijs te extraheren (transcripten, frames) in plaats van volledige mediastreams in te nemen, behaalden ze competitieve prestaties met een veel kleinere multimedia footprint.
Redeneerdiepte: Het vergroten van de redeneerinspanning (bijv. van "Low" naar "xHigh" in GPT-5.4) leverde duidelijke prestatiewinsten op, wat suggereert dat de diepte van de agentische berekening even cruciaal is als de perceptiecapaciteit.

3.2. Tool-gebruik Dynamiek

Gefaseerde Pipelines: Succesvolle agents hanteerden een gefaseerde pipeline: media extractie $\rightarrow$ transcriptie $\rightarrow$ externe zoekopdracht $\rightarrow$ redenering.
Kern-tools: ffmpeg, ffprobe, whisper, en web_search zorgden voor de meest consistente winst. python3 (zelfgeschreven tools) werd frequent aangeroepen maar vertoonde gemengde betrouwbaarheid.
Text-Only Ablatie: Zelfs text-only agents (zonder directe beeldtoegang) bleven competitief op veel benchmarks, wat aangeeft dat veel "omimodale" taken kunnen worden opgelost via tekst of oppervlakkige perceptie (OCR) in plaats van diep visueel begrip.

3.3. Impact van Skill Injection

Skill injection verbeterde de prestaties aanzienlijk. De Log-driven self-distillation setting verhoogde de gemiddelde OmniGAIA nauwkeurigheid van 61.4% (Geen Skills) naar 76.7%, waarmee het zowel calibration-set self-iteration als human-written skills overtrof.
Dit suggereert dat executietracen rijkere supervisie bieden voor het verfijnen van procedurele kennis dan binaire feedback of statische menselijke gidsen.

3.4. Open-Source Resultaten (Code-X)

Het Code-X recept stelde open-source modellen (Qwen-3.6-27B) in staat om state-of-the-art resultaten te behalen onder open-source modellen.
Het 27B model bereikte 43.3% op OmniGAIA en 60.0% op LVOmniBench, waarmee het alle bestaande open-source coding agents versloeg en de prestaties op VideoZeroBench verdubbelde.

3.5. TerminalBench-O Uitdagingen

Ondanks sterke resultaten op het gebied van begrip, bleek TerminalBench-O moeilijk voor huidige agents. Zelfs de sterkste GPT-5.5 Codex behaalde slechts een pass rate van 24%.
Taken die langdurige planning, betrouwbare tool-chaining en strikte output-adherence vereisen, blijven een significante bottleneck, wat de kloof tussen begrip en actieve verwerking benadrukt.

4. Betekenis en Claims

Het paper betoogt dat sandboxed coding agents een zeer competitief, en vaak superieur, paradigma vormen voor offline omnimodale taakoplossing vergeleken met native omnimodale modellen.

Paradigmaverschuiving: De auteurs beweren dat voor veel taken de bottleneck niet het vermogen van het model om ruwe data te "zien" of te "horen" is, maar het vermogen om tools te orkestreren om ruwe media om te zetten in compact, verifieerbaar bewijs dat past binnen een algemeen doelmatig redeneerinterface.
Efficiëntie: Deze aanpak biedt een meer token-efficiënt pad, waarbij de enorme contextkosten van het inpakken van ruwe video/audio streams worden vermeden.
Toekomstige Grens: Het paper stelt dat de volgende grens Many-Modality Processing (bewerken, auditeren, genereren) is in plaats van alleen begrip. De introductie van TerminalBench-O beoogt de evaluatie te verschuiven naar deze actieve, proces-niveau capaciteiten waar coding agents een structureel voordeel hebben ten opzichte van end-to-end modellen.
Reproduceerbaarheid: Door Code-X, OmniCoding, en TerminalBench-O vrij te geven, bieden de auteurs een fundament voor open-source onderzoek naar multimodale agentische intelligentie, voorbij de afhankelijkheid van propriëtaire native omnimodale API's.

Concluderend toont de studie aan dat "native" multimodale perceptie niet strikt noodzakelijk is voor hoogwaardige omnimodale agents; in plaats daarvan kan tool-gemedieerde bewijsextractie binnen een sandboxed omgeving superieure resultaten opleveren in termen van zowel nauwkeurigheid als efficiëntie voor een breed scala aan video- en audiotaken.