Technische Samenvatting: ProcObject-10K

Probleemstelling

Huidige benchmarks voor procedurale begrip in instructievideo's zijn overwegend actie-gericht. Ze modelleren procedurale structuur als sequenties van acties of gebeurtenissen, waarbij vaak de fundamentele rol van objecttoestandsovergangen wordt over het hoofd gezien. Bij procedurale taken in de echte wereld (bijvoorbeeld koken, assembleren) wordt het doel bereikt door de progressieve transformatie van objecttoestanden onder menselijke interactie. Dezelfde actie kan verschillende uitkomsten opleveren, afhankelijk van de initiële toestand van het object, wat op zijn beurt geldige daaropvolgende acties dicteert.

Bestaande datasets falen in het evalueren of modellen kunnen redeneren over deze dynamiek op objectniveau. Hoewel sommige datasets zich richten op objecttracking, missen ze een doelgerichte procedurale structuur; omgekeerd focussen instructievideo-datasets op actieseries zonder de causale afhankelijkheden te modelleren die worden veroorzaakt door veranderingen in objecttoestanden. Bijgevolg kunnen huidige benchmarks modellen hoge prestaties laten behalen door te vertrouwen op taalkundige priors en actiepatronen, in plaats van gedetailleerd redeneren over hoe objecten evolueren om een taak te voltooien.

Methodologie

1. De PROCOBJECT-10K Benchmark

De auteurs introduceren PROCOBJECT-10K, de eerste benchmark die is ontworpen om gezamenlijk objectgeredeneerd redeneren en temporele bewijsgronding in instructievideo's te evalueren.

• Dataset Samenstelling: De dataset omvat 10.522 open-ended VideoQA-paren die zijn verankerd in 1.799 videoclips die 137 taken beslaan over 9 domeinen (inclusief egocentrische en exocentrische weergaven).
• Data-gegenereerde Pijplijn: Een semi-automatische pijplijn in vier fasen werd toegepast:
  1. Verzameling: Video's werden gecureerd uit bestaande datasets (CaptainCook4D, EgoPER, HoloAssist, COIN) die bekend staan om complexe hand-objectinteracties.
  2. Steekproefneming: Temporeel aaneengesloten actieseries werden geselecteerd om causale coherentie en een consistente objectverschijning te waarborgen.
  3. QA-Generatie: Vision-Language Models (VLM's) werden geprompt met dichte objectgerichte bijschriften en spaarzame frames om vragen, antwoorden en ondersteunende temporele bewijsintervallen te genereren.
  4. Verificatie: Een rigoureus filterproces verwijderde gevallen die alleen met gezond verstand oplosbaar waren (alleen tekst), verifieerde de afstemming tussen antwoord en bewijs via LLM's, en omvatte menselijke beoordeling om ambiguïteit te verfijnen en temporele gronding te waarborgen.
• Vraagtaxonomie: De benchmark definieert vijf redeneertypen die zijn gericht op objectdynamiek:
  1. Gronding van Voorwaarde: Het identificeren van noodzakelijke objecttoestanden voor een actie.
  2. Evolutie van Objecttoestand: Het volgen van hoe een object verandert tussen stappen.
  3. Contravisioneel Redeneren: Het voorspellen van uitkomsten als specifieke objecttoestanden zouden worden gewijzigd.
  4. Foutherkenning: Het identificeren van fouten in objectbehandeling of -toestand.
  5. Bereidheidsevaluatie: Het bepalen of een object zich in de juiste toestand bevindt voor de volgende stap.

2. Objectgerichte Supervised Fine-Tuning (SFT)

Om de geïdentificeerde redeneergaten aan te pakken, stellen de auteurs een SFT-raamwerk voor dat modellen expliciet aanmoedigt aandacht te besteden aan de dynamische evolutie van actiegerelateerde objecten.

• Constructie van Pseudo-labels: In plaats van handmatige annotatie, gebruikt het raamwerk een VLM om sleutelobjectfrases uit QA-paren te extraheren, die vervolgens worden gelokaliseerd in videoframes met behulp van een objectdetectiemodel. Dit genereert:
  • Zachte Patch-niveau Maskers: Ruimtelijke supervisie die overlapping aangeeft tussen afbeeldingpatches en gedetecteerde objecten.
  • Objectaanwezigheidsindicatoren: Temporele supervisie die aangeeft welke frames relevante objecten bevatten.
• Trainingsdoelen: De standaard generatieve verliesfunctie ($L_{gen}$) wordt aangevuld met twee hulpbeperkingen:
  • Ruimtelijke Beperking ($L_{spl}$): Moedigt het model aan zich te richten op afbeeldingpatches die overlappen met ondersteunende objecten.
  • Temporele Beperking ($L_{tmp}$): Moedigt het model aan zich te richten op specifieke frames waar belangrijke objectdynamiek optreedt.
• Inferentie: De hulpkoppen worden tijdens inferentie verwijderd om efficiëntie te behouden, waardoor een model overblijft met geleerde objectgerichte visuele representaties.

Belangrijkste Resultaten

1. De Kloof tussen Antwoorden en Gronding

Het benchmarken van 13 toonaangevende Multimodale Grootte Taalmodellen (MLLM's) onthulde een aanzienlijke discrepantie:

• Plausibele Antwoorden, Slechte Gronding: Modellen behaalden redelijke scores bij open-ended vragenbeantwoording (door te vertrouwen op taalkundige priors), maar faalden in het lokaliseren van het ondersteunende temporele bewijs.
• Lage Grondingsprestaties: De gemiddelde Intersection-over-Union (mIoU) voor temporele gronding bleef consequent onder de 45% voor alle modellen, zelfs voor grote, propriëtaire en open-source modellen.
• Blinde LLM-prestaties: Taal-only modellen (bijvoorbeeld GPT-5.4-Mini) behaalden concurrerende antwoordscores (LLM-as-Judge score ~3,14) zonder video-invoer, wat bevestigt dat huidige modellen vaak visueel bewijs omzeilen.

2. Impact van Objectgerichte SFT

Het model dat is gefinetuned met het voorgestelde objectgerichte SFT-raamwerk (Qwen3-VL-4B) toonde aanzienlijke verbeteringen:

• Benchmarkprestaties: Het behaalde de hoogste prestaties op de meeste metrieken, en overtrof veel grotere baselines (bijvoorbeeld modellen met 38B parameters) zowel in antwoord- als grondingsnauwkeurigheid.
• Generalisatie:
  • VideoQA: Het gefinetunde model werd effectief overgedragen naar de MultiHop-EgoQA-benchmark in een zero-shot setting, en presteerde beter dan modellen die specifiek op die dataset waren gefinetuned.
  • Embodied Planning: Wanneer geïntegreerd als een zero-shot planner in het ALFRED-raamwerk, verbeterde het gefinetunde model de Succesratio (SR) en Goal Conditioned (GC)-scores in vergelijking met zero-shot baselines, wat aangeeft dat objectgeredeneerd redeneren helpt bij de uitvoering van embodied taken.

Betekenis en Claims

De paper beweert dat PROCOBJECT-10K dient als een kritisch diagnostisch instrument, dat de afhankelijkheid van huidige MLLM's van taalkundige priors blootlegt in plaats van van gedetailleerde objectdynamiek. De auteurs betogen dat:

1. Proceduraal begrip objectgeredeneerd redeneren vereist: Actieseries alleen zijn onvoldoende; het begrijpen van de causale afhankelijkheden van objecttoestandsovergangen is fundamenteel voor intelligente systemen die helpen bij procedurale taken.
2. Expliciete supervisie noodzakelijk is: Het voorgestelde SFT-raamwerk toont aan dat het expliciet superviseren van modellen op objecttoestandsdynamiek (via pseudo-labels en ruimtelijk-temporele beperkingen) een effectieve strategie is om de kloof tussen antwoorden en gronding te dichten.
3. Overdraagbaarheid: De objectgerichte representaties die uit deze benchmark zijn geleerd, zijn niet beperkt tot de dataset zelf, maar generaliseren naar andere verankerde VideoQA-taken en embodied planning-scenario's, wat wijst op bredere waarde voor proceduraal begrip in AI.

De auteurs concluderen dat PROCOBJECT-10K beoogt toekomstig onderzoek te stimuleren naar objectgeredeneerd proceduraal redeneren, een strakkere integratie met embodied agenten, en de ontwikkeling van wereldmodellen die fysieke toestandsovergangen beter begrijpen.