💻 computer science

ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response

Dit artikel introduceert ProAct-75, een uitgebreide benchmark met 75 taken en gestructureerde taakgrafieken, samen met ProAct-Helper, een multimodaal framework dat entropie-gestuurde zoektochten op deze grafieken benut om proactieve agenten in staat te stellen bestaande modellen te overtreffen in triggerdetectie, stapefficiëntie en parallelle actie-uitvoering.

Oorspronkelijke auteurs: Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

Gepubliceerd 2026-02-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je samen met een vriend aan een puzzel werkt. Een passieve robot is als een robot die pas beweegt als je een tikje tegen zijn schouder geeft en zegt: "Verplaats dit stukje hierheen." Hij wacht op jouw commando, zelfs als hij ziet dat je worstelt of als er een stukje van de tafel dreigt te vallen.

Een proactieve robot, wat dit artikel introduceert, is als een behulpzame teamgenoot die naar je kijkt terwijl je werkt, het grote plaatje begrijpt en zegt: "Hé, ik zie dat je dat stukje bijna laat vallen; ik pak de lijm wel even terwijl jij die stap afmaakt." Hij wacht niet alleen af, maar anticipeert op wat er hierna moet gebeuren en handelt uit zichzelf om te helpen.

Hier is een eenvoudige uitsplitsing van de drie hoofdonderdelen van dit artikel:

1. Het Probleem: Robots hebben een kaart nodig

De auteurs zeggen dat hoewel we veel video's hebben van mensen die dingen doen (zoals koken of een fiets repareren), robots moeite hebben om proactief te zijn omdat ze een "kaart" missen.

De Kloof: Bestaande robots zien een video en kunnen misschien raden: "De persoon is een veter strikken." Maar ze kennen de structuur van de taak niet. Ze weten niet dat terwijl de persoon de linker schoen strikt, de robot gelijktig de rechter schoen kan pakken zonder in de weg te zitten.
Het Resultaat: Zonder deze kaart staan robots vaak in de weg, wachten ze te lang, of doen ze dingen in de verkeerde volgorde, waardoor het werk van de mens moeilijker wordt in plaats van makkelijker.

2. De Oplossing: ProAct-75 (De Nieuwe Trainingsgrond)

Om dit op te lossen, heeft het team een nieuwe "sportschool" voor robots gemaakt genaamd ProAct-75.

Wat het is: Een enorme collectie van 75 verschillende taken (zoals een vuilnisbak legen, een bank monteren of een noodsituatie afhandelen) met meer dan 91.000 kleine, geannoteerde stappen.
Het Geheime Ingrediënt: In tegenstelling tot andere datasets bevat ProAct-75 Taakgrafieken (Task Graphs). Denk aan deze als stroomdiagrammen of metrokaarten.
- Ze laten zien welke stappen eerst moeten gebeuren (je kunt het deksel niet erop doen voordat de vuilnis erin zit).
- Ze laten zien welke stappen tegelijkertijd kunnen gebeuren (parallelle paden).
- Analogie: Als de mens over het linker spoor van een trein loopt, vertelt de kaart de robot dat hij veilig over het rechter spoor kan lopen op hetzelfde moment, in plaats van te wachten tot de mens de hele reis heeft voltooid.

3. De Robot: ProAct-Helper

Met behulp van deze nieuwe trainingsgrond hebben ze een robotbrein gebouwd genaamd ProAct-Helper.

Hoe het denkt: Het gebruikt een krachtige AI (een Multimodale Large Language Model) om de video te bekijken en te begrijpen wat de mens aan het doen is.
De "Entropie"-truc: Dit is het slimme gedeelte. De robot gebruikt een wiskundig concept genaamd "entropie" (een maatstaf voor chaos of vermenging) om te beslissen wat hij moet doen.
- De Metafoor: Stel je een dansvloer voor. Als de mens en de robot allebei op hetzelfde kleine plekje proberen te dansen, botsen ze tegen elkaar op (hoge chaos). Als ze op verschillende delen van de vloer dansen, verloopt het soepel (lage chaos).
- ProAct-Helper berekent constant: "Als ik deze actie uitvoer, zullen wij dan tegen elkaar aan botsen, of kunnen we parallel werken?" Het kiest de actie die de "dansvloer" georganiseerd houdt en ervoor zorgt dat beiden tegelijkertijd vooruit kunnen.

Wat ze vonden (De Resultaten)

Het team heeft hun robot getest tegenover andere slimme AI-modellen (inclusief enkele zeer beroemde, dure modellen).

Betere Timing: ProAct-Helper was veel beter in het weten wanneer hij moest bijspringen. Het onderbrak niet wanneer dat niet nodig was.
Meer Parallel Werk: Omdat het de "kaart" begreep, voerde het succesvol taken uit die tegelijkertijd met de mens uitgevoerd konden worden. Dit bespaarde ongeveer 15% meer tijd vergeleken met andere robots die simpelweg op hun beurt wachtten.
Minder Fouten: Het maakte minder fouten in het raden van wat de mens daarna zou doen, wat leidde tot een soepeler teamwork.

Samenvatting

Kortom, dit artikel zegt: "Om robots echt behulpzaam te maken, moeten ze de structuur van een taak begrijpen, niet alleen de handelingen. Door ze een 'kaart' te geven van wat er gelijktijdig kan gebeuren, kunnen we ze leren om met mensen parallel te werken, in plaats van alleen maar achter hen in de rij te wachten."

Het artikel biedt de kaart (ProAct-75), de trainingsmethode (ProAct-Helper) en het bewijs dat deze aanpak beter werkt dan simpelweg gokken.

Technische Samenvatting: ProAct: Een Benchmark en Multimodaal Raamwerk voor Structuurbewuste Proactieve Respons

1. Probleemstelling

Huidige robotische agenten opereren voornamelijk op een passieve wijze, waarbij ze pas acties uitvoeren na het ontvangen van expliciete instructies. Deze afhankelijkheid legt een cognitieve belasting op menselijke gebruikers en beperkt de autonomie van robotische systemen. In tegenstelling hiertoe streven proactieve agenten ernaar om aan te sluiten bij hogere doelstellingen (bijv. assistentie, veiligheid, onderhoud) door continu de omgeving te monitoren om te bepalen wanneer te interveniëren en welke actie ondernomen moet worden.

De ontwikkeling van dergelijke agenten wordt echter gehinderd door twee kritieke tekortkomingen in bestaande middelen:

Gebrek aan Gespecialiseerde Middelen: Bestaande benchmarks voor video-begrip missen vaak een consistente temporele granulariteit, een verenigde hiërarchische taakmodellering of expliciete structurele representaties van taakafhankelijkheden.
Ontbrekende Structurele Gronding: Zonder expliciete taakgrafieken die temporele precedentie en mogelijkheden voor parallelle uitvoering coderen, worden agenten gedwongen alle stappen als sequentieel te behandelen. Dit voorkomt dat zij kansen identificeren om onafhankelijke taken parallel uit te voeren, wat leidt tot onnodig verlengde workflows en potentiële verstoringen van de workflow (bijv. een robot die wacht om een zak dicht te knopen terwijl een mens nog bezig is met het verwijderen van de oude zak, in plaats van gelijktijdig een nieuwe zak voor te bereiden).

Het artikel adresseert het probleem van visuele proactieve respons, waarbij een agent continu videostreams moet observeren om triggers te detecteren, huidige staten te identificeren, toekomstige menselijke acties te voorspellen en de optimale volgende robotactie te selecteren onder taakgrafiek-beperkingen.

2. Methodologie

2.1. ProAct-75 Benchmark

Om onderzoek in dit domein mogelijk te maken, introduceren de auteurs ProAct-75, een benchmark die drie scenario's beslaat: Assistentie, Onderhoud en Veiligheidsbewaking.

Data Compositie: De dataset bestaat uit 75 taken met 5.383 video's en 91.581 annotaties op stapniveau. De data is verzameld uit publieke bronnen (COIN, Ego-Exo4D, UCF-Crime) en aangevuld met 495 zelf verzamelde clips om ondervertegenwoordigde taken te dekken.
Annotatieprotocol: Video's zijn opnieuw geannoteerd met een consistente granulariteit op het niveau van atomaire acties. Cruciaal is dat elke taak is uitgerust met een expliciete Taakgrafiek (een gerichte acyclische graaf met AND/OR-afhankelijkheden). Deze grafieken coderen:
- Precedente Beperkingen: Stappen die anderen moeten voorafgaan.
- Parallelle Threads: Onafhankelijke takken die gelijktijdig kunnen worden uitgevoerd.
- Middenniveau Abstracties: Hiërarchische groepering van atomaire stappen.
Evaluatietaken: De benchmark evalueert vijf specifieke capaciteiten:
1. Trigger Detectie: Beslissen of interventie nodig is.
2. Stap Detectie: De huidige stap in de workflow lokaliseren.
3. Taak Detectie: De hoogwaardige taak identificeren.
4. Toekomstige Actie Voorspelling: De volgende $n$ menselijke acties voorspellen.
5. Proactieve Actie Selectie: De volgende robotactie kiezen die haalbaar is onder de taakgrafiek.

2.2. ProAct-Helper Raamwerk

De auteurs stellen ProAct-Helper voor, een referentiemodel gebouwd op een Multimodaal Groot Taalmodel (MLLM) dat perceptie integreert met graaf-beperkte planning.

Hierarchical Binding Module (HBM): Om de long-tail distributie van taken en stappen te behandelen, gebruikt ProAct-Helper HBM. Deze module dwingt cross-level semantische consistentie af door de overeenstemming tussen ouder- (trigger/taak) en kind- (stap) niveau representaties te maximaliseren met behulp van contrastieve verliezen. Dit verbetert het vermogen van het model om zeldzame klassen te herkennen en coherentie te behouden over de voorspellingshiërarchie.
Entropy-Driven Heuristic Search: Voor actieselectie kopieert het raamwerk niet simpelweg de volgende stap van de mens. In plaats daarvan maakt het gebruik van de taakgrafiek om legale acties ( $A_{legal}$ $A_{l e g a l}$ ) te identificeren die voldoen aan de AND/OR-beperkingen.
- Het systeem modelleert menselijke en robotische acties als distributies over parallelle threads.
- Het berekent de thread mixing entropy ( $H_{mix}$ ), die frequent wisselen tussen threads bestraft (hoge cognitieve belasting) en gemengde uitvoering waarbij beide agenten aan dezelfde thread werken.
- De agent selecteert de actie die $H_{mix}$ minimaliseert, waardoor de prioriteit effectief wordt gelegd op parallelle threads die verschillen van de huidige thread van de mens, mits zij de precedente beperkingen niet schenden.

3. Belangrijkste Bijdragen

ProAct-75 Benchmark: Een uitgebreide dataset voor visuele proactieve respons met expliciete taakgrafieken en structuurbewuste annotaties over assistentie-, onderhouds- en veiligheidsscenario's.
ProAct-Helper Raamwerk: Een multimodaal baseline-model dat een MLLM combineert met een Hierarchical Binding Module voor robuuste staatperceptie en een entropie-gestuurde heuristische zoektocht voor structuurbewuste actieselectie.
Empirische Validatie: Uitgebreide experimenten die aantonen dat ProAct-Helper superieur presteert aan sterke closed-source en open-source MLLM's in zowel staatherkenning als collaboratieve efficiëntie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ProAct-75, waarbij ProAct-Helper (gebaseerd op Qwen2.5-VL-7B) werd vergeleken met diverse baselines, waaronder GPT-4o, Gemini-2.5-Pro en andere Qwen-varianten.

Staat Perceptie: ProAct-Helper presteert significant beter dan baselines in trigger-, taak- en stapdetectie. Specifiek verbeterde het de Taak F1 met 17,09% en de Stap F1 met 11,72% ten opzichte van de beste closed-source baseline (Gemini-2.5-Pro). De HBM-module leverde een extra verbetering van 2,71% in Taak mF1 en 1,63% in Stap mF1, wat de effectiviteit ervan bij het afhandelen van long-tail categorieën benadrukt.
Proactieve Actie Selectie:
- Saved Steps (SS): ProAct-Helper bespaarde 0,361 meer stappen per interactie vergeleken met de beste baseline, wat wijst op een efficiëntere samenwerking.
- Parallel Actions (PA): Het raamwerk verhoogde de snelheid van parallelle acties met 15,58% ten opzichte van baselines, wat het vermogen aantoont om onafhankelijke threads gelijktijdig uit te voeren in plaats van te wachten op sequentiële menselijke stappen.
- Entropy Reductie: De methode bereikte een lagere thread mixing entropy, wat duidt op een soepelere coördinatie met minder frequent wisselen tussen menselijke en robotische threads.
Robuustheid: In OOD-evaluaties (Out-of-Distribution) met verschillende camerastandpunten behield ProAct-Helper een significant hogere prestatie (het behield ~73% van de Best View prestatie) vergeleken met baselines zoals Ego-Exo4D (die ~15% behield).

5. Betekenis en Claims

Het artikel claimt dat ProAct-75 de noodzakelijke structurele gronding biedt om verder te gaan dan passieve, instructievolgende agenten naar werkelijk proactieve systemen. De auteurs benadrukken dat bestaande MLLM's moeite hebben met het benutten van taakgrafiek-structuren, zelfs wanneer deze als input worden meegegeven, en vaak terugvallen op sequentiële uitvoering of het niet identificeren van parallelle kansen.

ProAct-Helper demonstreert dat door expliciete taakgrafieken te integreren met een entropie-gestuurde zoektocht, agenten kunnen:

Workflowverstoringen verminderen door parallelle threads uit te voeren.
De collaboratieve efficiëntie verbeteren door menselijke stappen te besparen.
Robuustheid behouden over diverse standpunten en long-tail taakdistributies.

De auteurs positioneren dit werk als een fundamentele stap naar structuurbewuste proactieve respons, waarbij zij suggereren dat toekomstige richtingen zich moeten richten op graaf-haalbare decodering en het gebruik van de benchmark's trigger-beschrijvingen voor post-training om redelijke proactieve gedragingen verder te verfijnen. Het artikel concludeert dat hoewel de planner een lichtgewicht heuristiek is, het succes ervan de noodzaak van structurele beperkingen in het ontwerp van proactieve agenten valideert.