Technische Samenvatting: MMTB: Evaluatie van Terminal Agents op Taken met Multimedia-bestanden

Probleemstelling

Hoewel terminalinterfaces krachtige omgevingen bieden voor AI-agents om complexe workflows te automatiseren met diverse hulpmiddelen, richten bestaande benchmarks voor terminalagents (zoals Terminal-Bench en InterCode) zich voornamelijk op taken die zijn verankerd in tekst, code en gestructureerde bestanden. Veel workflows uit de praktijk – variërend van mediaproductie en compliance-auditing tot het creëren van educatieve inhoud – vereisen echter directe interactie met audio- en videobestanden.

Huidige terminalagents ondervinden in deze scenario's een aanzienlijke beperking: ze missen een native perceptie van multimediainhoud. In plaats van audio of video direct te inspecteren, moeten agents vertrouwen op commandoregeltools om media om te zetten in intermediaire representaties (zoals spectrogrammen, geëxtraheerde frames of transcripties) voordat redenering kan plaatsvinden. Dit conversieproces introduceert inefficiënties, potentiële informatieverlies en extra foutpunten. Bovendien ontbreken bestaande benchmarks volledig taken met multimediabestanden, of richten ze zich op multimediabegrip (het beantwoorden van vragen over media) in plaats van multimedia-actie (het uitvoeren van terminalworkflows om mediabestanden te transformeren of te analyseren).

Methodologie

Constructie van de Benchmark: MultiMedia-TerminalBench (MMTB)

De auteurs introduceren MMTB, een benchmark bestaande uit 105 realistische taken die zijn ontworpen om terminalagents te evalueren op workflows met multimediabestanden.

• Scope: Taken zijn verankerd in publieke bronnen die betaalde praktijks workflows weerspiegelen (zoals Upwork en Fiverr) en omvatten vijf metacategorieën: Mediaproductie, Prestatie & Coaching, Onderneming & Compliance, Persoonlijk & Onderwijs, en Operaties & Onderzoek.
• Formaat: Taken volgen het Harbor-formaat dat wordt gebruikt door Terminal-Bench, bestaande uit een instructie, een persistente containerisatie werkruimte met multimedia-activa, een toegestaan tool-interface, een outputschema en een artifact-evaluator.
• Inhoud: De benchmark bevat 536 mediabestanden met in totaal bijna 7 uur audiovisuele inhoud. Taken vereisen dat agents beslissingen verankeren in auditieve en visuele bewijzen over bestanden heen en verifieerbare output-artifacten produceren (zoals bewerkte clips, JSON-logboeken, tijdstippen).
• Validatie: De constructiepijplijn omvatte geautomatiseerde controles op taakstructuur, Docker-build-integriteit en orakel-oplosbaarheid, gevolgd door handmatige beoordeling om triviale shortcuts en onrealistische opstellingen te elimineren.

Evaluatieharness: Terminus-MM

Om agents onder gecontroleerde omstandigheden te evalueren, stellen de auteurs Terminus-MM voor, een multimedia-harness dat het Terminus-KIRA-framework uitbreidt.

• Native Perceptie: In tegenstelling tot standaard terminalagents die vertrouwen op shell-opdrachten om kenmerken te extraheren, blootstelt Terminus-MM native perceptietools (view_image, listen_audio, watch_video) direct aan de agent.
• Werkruimte-bewuste Routing: Een belangrijk ontwerpaspect is dynamische tool-maskering. Het harness scant de werkruimte tijdens runtime en blootstelt alleen de perceptietools die relevant zijn voor de aanwezige bestanden (bijvoorbeeld listen_audio verbergen als er geen audiobestanden zijn). Dit voorkomt dat agents middelen verspillen aan irrelevante modaliteiten.
• Vergelijkende Varianties: De studie evalueert een familie van gecontroleerde harnessen met variërende modale toegang (Alleen tekst, Tekst + Afbeelding, Tekst + Audio, Tekst + Video, en Volledig Multimodaal) om de impact van specifieke perceptiecapaciteiten te isoleren.
• Basislijnen: De benchmark evalueert ook kant-en-klare agents, specifiek Codex CLI (met GPT-5.2) en Claude Code (met Sonnet-4.6), die opereren via hun eigen agentloops en toolinterfaces zonder het gecontroleerde Terminus-harness.

Metrieken

Prestaties worden gemeten aan de hand van:

1. Succespercentages: Binair succes (het halen van de verifiër-drempel) en gedeeltelijk succes (gemiddeld correctiescore).
2. Efficiëntie: Gemiddelde API-kosten per taak en gemiddelde uitvoeringstijd.
3. Foutanalyse: Categorisering van foutmodi (bijvoorbeeld time-outs bij tool-setup, fouten bij tool-uitvoering, fouten in modelredenering, incorrecte outputformaten).

Belangrijkste Resultaten

1. Native Multimedia-toegang Verbeterde Prestaties Aanzienlijk

De studie toont aan dat alleen tekst en tekst-afbeelding toegang ontoereikend zijn voor veel taken met multimediabestanden.

• Op de Gemini-3.1-Pro-ruggengraat bereikte de alleen-tekst Terminus-2 een binair succespercentage van 12,4%.
• Het toevoegen van native audio- en video-toegang via Terminus-MM (T+I+A+V) verhoogde het binaire succespercentage naar 37,1% en het gedeeltelijke succes naar 46,9%.
• Vergelijkbare trends werden waargenomen bij Gemini-2.5-Flash, waarbij volledige multimodale toegang resulteerde in een binair succespercentage van 22,9% tegenover 6,7% voor alleen tekst.
• Kosten-efficiëntie: Terminus-MM was ook kosteneffectiever, waarbij vaak minder API-aanroepen en minder tijd nodig waren dan bij agents die gedwongen werden commandoregelconversietools te gebruiken om bewijs af te leiden.

2. Commandoregelconversies Brengen Aanzienlijke Overhead Met Zich Mee

Wanneer native perceptie niet beschikbaar is, moeten agents commandoregeltools (zoals ffmpeg, tesseract, whisper) gebruiken om media te inspecteren.

• Tabel 5 toont aan dat voor taken waarbij zowel de harnessen met gedeeltelijke modaliteit als Terminus-MM slaagden, de gedeeltelijke harnessen aanzienlijk hogere kosten opleverden. De API-kostenverhoudingen varieerden van 1,63× tot 7,72× hoger dan Terminus-MM, met worst-case scenario's die 42,49× bereikten wanneer native audio ontbrak.
• Deze overhead vloeit voort uit langere paden voor het verwerven van bewijs: het selecteren van intermediaire representaties, het uitvoeren van tools, het interpreteren van verliesrijke resultaten en het opnieuw proberen.

3. Onderscheidende Foutmodi en Oplossingsregimes

• Terminus-MM-fouten werden voornamelijk gedreven door modelredenering (47% van de fouten), waarbij de agent de beschikbare bewijzen verkeerd interpreteerde. Fouten bij tool-operaties (setup, uitvoering, crashes) maakten een kleiner deel uit (24%).
• Codex CLI (die vertrouwen op commandoregelconversies) vertoonde een veel hogere faalratio in tool-gemedieerde workflows. Time-outs bij setup en uitvoering alleen al waren goed voor 39% van de fouten, waarbij tool-operatieproblemen bijna de helft van alle fouten uitmaakten.
• Oplossingsregimes: Analyse van taakoverlap onthulde dat Terminus-MM en Codex CLI verschillende subsets van taken oplossen.
  • MM-only taken (28 taken): Vereisen vaak native modaliteitsbegrip (bijvoorbeeld het afstemmen van audio-aanwijzingen op visuele gebeurtenissen).
  • Codex-only taken (6 taken): Omvatten vaak workflows waarbij media betrouwbaar kan worden omgezet in tekst/numerieke signalen via standaardpijplijnen (bijvoorbeeld OCR, transcriptie).
  • Beide-falen taken (60 taken): Vertegenwoordigen de huidige grens, waarbij zowel precieze media-verankering als robuuste terminal-artifactconstructie vereist is.

Betekenis en Claims

Het artikel claimt dat MMTB een kritieke kloof opvult in de evaluatie van AI-agents door de focus te verschuiven van "multimediabegrip" (vragen beantwoorden) naar "multimedia-actie" (workflows uitvoeren). De auteurs betogen dat:

1. Native Toegang Essentieel Is: Om terminalagents effectief te laten omgaan met real-world multimediaworkflows, vereisen ze directe toegang tot audio- en video-inhoud, niet alleen de mogelijkheid om conversiescripts uit te voeren.
2. Efficiëntiewinst: Native perceptie verkort het pad voor het verwerven van bewijs, wat zowel de kosten als de kans op falen vermindert in vergelijking met commandoregelconversiepijplijnen.
3. Behoefte aan Hybride Capaciteiten: Effectieve multimediaterminalagents moeten native perceptie combineren met betrouwbare tool-gebruikcapaciteiten. De "MM-only" en "Codex-only" taaksets suggereren dat toekomstige systemen veelzijdig genoeg moeten zijn om zowel verankering-beperkte als pijplijn-beperkte workflows aan te kunnen.
4. Benchmarkhygiëne: MMTB behandelt commandoregel-workarounds voor ontbrekende modaliteiten als bewijs van workflowcomplexiteit in plaats van als vervuiling, waardoor een realistischer beoordeling van agentcapaciteiten in persistente terminalomgevingen wordt geboden.

De auteurs concluderen dat hoewel er vooruitgang is geboekt met terminalagents, de integratie van native audiovisuele verankering met betrouwbare shell-uitvoering noodzakelijk is om agents te ontwikkelen die complexe, bestandsgebaseerde multimediaworkflows kunnen automatiseren.