OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

Technisch overzicht: OSEF: One-Step Evidence Fusion voor Cross-Video Scene Procedure Planning

1. Probleemdefinitie: Cross-Video Scene Procedure Planning (CVSPP)

Het artikel adresseert een gat in de bestaande Video Scene Procedure Planning (VSPP). Traditionele VSPP-systemen gaan ervan uit dat de juiste bewijsvideo en het juiste tijdsvenster als input worden geleverd om een actiesequentie te voorspellen die een startscène transformeert naar een doelscène. In praktische scenario's is de juiste bewijsvideo echter niet beschikbaar; een systeem moet eerst de juiste video uit een kandidaatenset ophalen en het relevante tijdsvenster lokaliseren voordat het kan plannen.

De auteurs introduceren Cross-Video Scene Procedure Planning (CVступCVSPP) als een gebenchmarkte taak waarbij een model het volgende ontvangt:

1. Een legale query: een antwoord-gereduceerde tekstuele beschrijving van een start-doel transitie (bijv. "start: rauwe aardappelen; doel: gouden friet geserveerd") zonder de video-ID, tijdstempels of de actiesequentie te onthullen.
2. Een kandidaatenset ($K$ video's), elk verdeeld in $M$ temporele cellen.

Het model moet simultaan:

• Ophalen (Retrieve) van de juiste ondersteunende video.
• Localiseren van het relevante tijdsvenster binnen die video.
• Plannen van de geordende closed-set actiesequentie die de start- en doeltoestanden overbrugt.

De taak wordt gedefinieerd door twee gekoppelde uitdagingen:

• Same-task Evidence Ambiguity: Meerdere kandidaatenvideo's kunnen dezelfde nominale procedure demonstreren met bijna identieke stadia en naburige vensters, waardoor conditionering op alleen de taaknaam onvoldoende is.
• Retrieval-to-Plan Error Propagation: In standaard "retrieve-then-plan" cascades leidt een vroege harde selectie van de verkeerde video of het verkeerde venster tot een onjuiste scèneketen voor de planner, waardoor de planning-loss onherstelbaar faalt.

2. Methodologie: One-Step Evidence Fusion (OSEF)

Om deze uitdagingen aan te pakken, stellen de auteurs One-Step Evidence Fusion (OSEF) voor, een framework dat de onomkeerbare bewijsverplichting (evidence commitment) uitstelt. In plaats van één video te selecteren en een venster uit te snijden vóór het plannen, scoort OSEF alle kandidaatencellen en voert de volledige zachte (soft) bewijsrepresentatie naar de planner in een enkel differentieerbaar pad.

De architectuur bestaat uit drie hoofdonderdelen:

1. Query-Conditioned Evidence Lattice:

   • Het model scoort elke cel $(k, m)$ in de $K \times M$ kandidaatencellen tegenover de legale query $q$.
   • Een parameter-vrije symmetrische lift construeert geldige gesloten intervallen $(i \le j)$ om een rooster (lattice) van scores $H_\theta(q, k, i, j)$ te vormen.
   • De argmax van dit rooster bepaalt de gerapporteerde video en het gelokaliseerde bereik voor evaluatie, maar het planner-pad behoudt alle $K \times M$ cellen.

2. Token-Global Evidence-to-Plan (E2P) Adapter:

   • Dit component voorkomt het verlies van cel-niveau signalen die optreden bij standaard pooling.
   • Het vlakt het volledige $K \times M$ rooster af (zonder te croppen) en verwerkt dit via een single-layer Transformer encoder.
   • $2T$ geleerde endpoint queries (die de start- en doeltoestanden representeren voor de $T$ stappen) cross-attenteren naar alle cellen in het rooster.
   • Dit produceert een scène-toestand keten tensor ($B \times T \times 2 \times d_v$) waarbij het bewijs van elke kandidaat beschikbaar blijft voor de planner, zelfs als de harde argmax-selectie onjuist is.

3. Goal-Conditioned Planner:

   • Een drie-laagse Transformer brengt de toestands-paren in kaart naar per-stap actie logits.
   • De legale query conditioneert de planner via twee mechanismen: een FiLM-stijl affine schaling/verschuiving over de toestand-tokens en als een afzonderlijke prepended token voor aandacht (attention).
   • Een gedeelde kop decodeert de $T$ stappen.

Trainingsdoelstelling:
Het model gebruikt Joint-Cascade Supervision. De loss ($L_{JC}$) combineert de cross-entropy loss van het plan gegenereerd vanuit de zachte globale keten ($\hat{S}$) met een gewogen som van losses van plannen gegenereerd door individuele kandidaatketens ($S_k$), gewogen door de retrieval-waarschijnlijkheid $p_k$. Dit stelt de planning-loss in staat om de bewijsrepresentatie te hervormen.

3. Benchmark Constructie

De auteurs hebben een benchmark geconstrueerd uit 11 instructieve videobronnen (3 native planning benchmarks: COIN, CrossTask, NIV; en 8 geconverteerde bronnen zoals YouCook2, Ego4D, etc.).

• Legal Query Audit: Een "fail-closed" poort garandeert dat queries geen grondwaarheid-lekken bevatten (geen video-ID's, tijdstempels of actiesequenties).
• Negatieve Rollen: De benchmark bevat getypeerde negatieve rollen om specifieke foutmodi te testen: Wrong Video (WV), Wrong Window (WO) en Wrong Task (WA).
• Metrieken:
  • Evidence Axis: Exact-video R@1, MRR, en span-IoU.
  • Plan Axis: Per-step Mean Accuracy (MAcc) en Exact-Sequence Success (PLAN-SR).
  • Volledige Metriek: FULL-SR, de waarschijnlijkheid om de video correct op te halen, het venster te lokaliseren en de exacte actiesequentie tegelijkertijd te voorspellen.

4. Belangrijkste Resultaten

Het artikel evalueert OSEF tegen negen aangepaste planner-families (inclusief latente, graaf-, generatieve en discrete-sequentie planners) over 14 bron-horizon cellen.

• Rangschikkingsprestaties: OSEF staat eerst op alle zes de native cellen (COIN, CrossTask, NIV) waar methode-rangschikking geldig is.
• Prestatiewinst: Op vier gematchte same-task cellen (COIN-T3/T4 en CrossTask-T3/T4) verbetert OSEF de FULL-SR met 2,9 tot 10,7 procentpunten ten opzichte van een verbeterde hard-selection SOTA baseline.
• Componentanalyse: Een ablatie-studie onthult dat de token-global interface (het behouden van alle cellen in plaats van pooling) de grootste enkele toename in prestaties veroorzaakt. Soft pooling alleen is onvoldoende; het vermogen om het hele rooster te lezen via geleerde queries is cruiter.
• Foutmodi:
  • Retrieval is bijna verzadigd op distinct-task kandidaten voor specifieke bronnen (bijv. NIV-T3 bereikt 99,20% R@1), maar planning blijft de bottleneck.
  • Lokalisatie is zwak; een correct plan garandeert geen correct venster (FULL-SR blijft hoog, zelfs wanneer span-IoU laag is).
  • Op geconverteerde bronnen met grove labels (bijv. CEgo, TACoS) ligt de prestatie vaak nabij de "majority-sequence floor", wat aangeeft dat deze cellen label-degeneratieve stress-tests zijn in plaats van ranking-bewijs.

5. Betekenis en Claims

Het artikel claimt de eerste benchmark te zijn die retrieval, lokalisatie en planning samen scoort vanaf een antwoord-gereduceerde query. De betekenis ligt in:

1. Formalisering van het gekoppelde probleem: Het scheidt expliciet "same-task evidence ambiguity" van "retrieval-to-plan error propagation", en toont aan dat hard-selection cascades broos zijn.
2. Introductie van Soft Fusion: OSEF demonstreert dat het "zacht" houden van bewijs over het volledige kandidaat-rooster en het voeden hiervan aan de planner via een token-global adapter significant beter presteert dan hard-selection baselines.
3. Benchmarking van Transfer: Het biedt een rigoureuze testomgeving voor hoe bestaande VSPP planners transfereren wanneer het bewijs niet wordt meegeleverd, waarbij wordt onthuld dat de meeste overgenomen planners falen zonder de specifieke OSEF interface.

De auteurs merken bescheiden beperkingen op: de huidige opzet gebruikt bevroren features en deterministische queries, en de kosten van het rooster groeien met het aantal kandidaten ($K$). Zij identificeren getrouwe span-decoding en sterkere backbones als openstaande uitdagingen. Het aanvullende pakket bevat modelconstructors, evaluatiecode en per-cel audits.