💻 computer science

OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

Dieses Paper führt Cross-Video Scene Procedure Planning (CVSPP) ein, eine neue Aufgabe, die von Modellen verlangt, gleichzeitig relevante Videoevidenzen abzurufen und Aktionen zu planen, und schlägt One-Step Evidence Fusion (OSEF) vor, eine Methode, die durch das Verschmelzen aller Kandidaten-Evidenzen in ein Soft Lattice für die Planung auf eine harte Selektion verzichtet und damit eine Spitzenleistung auf einem neu etablierten Elf-Quellen-Benchmark erzielt.

Ursprüngliche Autoren: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

Veröffentlicht 2026-08-03

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine perfekte Tasse Kaffee zuzubereiten. Sie wollen nicht nur, dass der Roboter die Schritte kennt; Sie wollen, dass er ein Video sieht, herausfindet, welches spezifische Video den richtigen Weg zeigt, den exakten Moment findet, in dem der Barista das Wasser eingießt, und dann die Anweisungen selbst aufschreibt. Dies ist die Welt der Video Scene Procedure Planning (Videoszenen-Prozedurplanung). Dies ist ein Zweig der künstlichen Intelligenz, bei dem Computer versuchen zu verstehen, wie man von einer Ausgangsszene (wie rohen Zutaten) zu einer Zielszene (wie einer fertigen Mahlzeit) gelangt, indem sie Videos beobachten.

Lange Zeit gaben Forscher dem Computer das „korrekte“ Video und die exakten Start- und Endzeiten vor. Es war so, als würde man dem Roboter die richtige Seite eines Kochbuchs in die Hand drücken und sagen: „Lies das.“ Aber in der realen Welt, wenn Sie eine Suchmaschine nach „wie man Kaffee macht“ fragen, liefert sie Ihnen nicht ein perfektes Video; sie liefert Ihnen eine Liste von zehn verschiedenen Videos. Einige sind großartig, manche sind schrecklich, und manche zeigen dieselben Schritte, wurden aber in einer anderen Küche gefilmt. Die große Herausforderung lautet: Wie bringt man einem Computer bei, das richtige Video aus einer unordentlichen Liste auszuwählen, den richtigen Teil dieses Videos zu finden und dann die Schritte zu planen, ohne dabei durch die schlechten Optionen verwirrt zu werden? Dieses Paper befasst sich mit diesem unordentlichen, realen Problem.

Das Problem: Die „Falsches Rezept“-Falle

Die Autoren führen ein neues, schwierigeres Spiel namens Cross-Video Scene Procedure Planning (CVSP lack CVSPP) ein. Stellen Sie sich das wie eine Kochshow-Challenge vor, bei der der Moderator die Beschreibung eines Gerichts vorgibt („Beginne mit rohen Kartoffeln, ende mit goldenen Pommes“) und einen Stapel aus vier verschiedenen Kochvideos bereitstellt. Ihre Aufgabe ist es:

Das eine Video auszuwählen, das tatsächlich zeigt, wie man Pommes macht.
Den spezifischen Clip innerhalb dieses Videos zu finden, in dem das Frittieren stattfindet.
Das schrittweise Rezept aufzuschreiben.

Der knifflige Teil ist, dass alle vier Videos etwas mit „Essen zubereiten“ zu tun haben könnten, und sie könnten sich sogar sehr ähnlich sehen. Wenn Sie das falsche Video auswählen (vielleicht das, in dem der Kuchen gebacken wird) oder den falschen Clip (vielleicht den Teil, in dem die Kartoffeln gewaschen werden, nicht frittiert werden), wird Ihr Rezept unsinnig sein.

Vorherige Methoden versuchten dies durch „Raten und Prüfen“ zu lösen. Sie wählten ein Video aus, sagten: „Okay, das ist es!“, und versuchten dann, die Schritte zu planen. Aber wenn sie zu Beginn das falsche Video ausgewählt hatten, brach der gesamte Plan zusammen. Es ist, als würde man versuchen, einer Karte nach Paris zu folgen, wenn man versehentlich eine Karte von London ausgewählt hat; egal wie gut man die Karte lißen kann, man wird niemals vor dem Eiffelturm stehen. Die Autoren argumentieren, dass es ein fataler Fehler ist, diese „schwierige Entscheidung“ zu früh zu treffen.

Die Lösung: OSEF (One-Step Evidence Fusion)

Um dies zu beheben, entwickelte das Team ein neues System namens OSEF (One-Step Evidence Fusion). Anstatt ein einzelnes Video auszuwählen und den Rest wegzuwerfen, hält OSEF alle Videos bis zur letzten Sekunde im Spiel.

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen Fall zu lösen. Anstatt den ersten Verdächtigen zu verhaften, den Sie sehen, behalten Sie alle vier Verdächtigen im Raum. Sie schauen sich die Hinweise an (die „Start“- und „Ziel“-Beschreibung) und fragen: „Wie gut passt Verdächtiger A zur Geschichte? Wie sieht es mit Verdächtiger B aus?“ Sie wählen nicht einfach einen aus; Sie erstellen eine „Scoreboard“ (eine Punktetafel) für jeden einzelnen Moment in jedem einzelnen Video.

Dann nutzt OSEF einen speziellen „Übersetzer“ (einen sogenannten token-global adapter), um dieses gesamte Scoreboard an das Planungsgehirn zu füttern. Es ist, als würde man dem Koch ein riesiges, transparentes Blatt geben, das jeden möglichen Schritt aus jedem Video zeigt, gewichtet nach der Wahrscheinlichkeit, dass er korrekt ist. Der Koch kann dann das Gesamtbild betrachten und entscheiden: „Ah, der Frittierschritt in Video 1 sieht am besten aus, aber der Schneideschritt in Video 2 ist klarer.“

Indem das System alle Optionen „weich“ und verfügbar hält, vermeidet es die Falle, sich zu früh auf das falsche Video festzulegen. Es ermöglicht dem Planungsprozess, sich selbst zu korrigieren, selbst wenn die anfängliche Vermutung darüber, welches Video am besten ist, leicht daneben lag.

Was sie herausfanden

Die Autoren testeten ihre neue Methode gegen neun andere Planungsmethoden auf einem massiven Benchmark, den sie selbst erstellt hatten, welcher 11 verschiedene Quellen von Instruktionsvideos (wie Kochen, Heimwerken und Putzen) umfasste. Sie erstellten ein „Scoreboard“ mit 1znąterschiedlichen Testszenarien.

Hier sagen die Zahlen:

Der große Sieg: In den sechs zuverlässigsten Testszenarien (genannt „native cells“) belegte OSEF den ersten Platz in jeder einzelnen.
Die Verbesserung: In vier spezifischen Tests, bei denen die Videos sehr ähnlich waren (same-task), verbesserte OSEF die Erfolgsquote beim Finden des exakten richtigen Videos und des exakten richtigen Plans um 2,9 bis 10,7 Prozentpunkte im Vergleich zu den bisher besten Methoden.
Das Geheimrezept: Die Autoren fanden heraus, dass der größte Schub nicht durch neue komplexe Mathematik zur Auswahl des Videos kam, sondern durch die Schnittstelle, die alle Videooptionen offen hielt, damit der Planer sie sehen konnte. Es war der „token-global“-Ansatz, der den Unterschied machte.
Die Grenzen: Das System hat immer noch Schwierigkeiten, wenn die Videos sehr kurz oder die Labels unordentlich sind. In fünf der konvertierten Testszenarien schnitt das System nicht besser ab als das bloße Raten der häufigsten Antwort (der „majority-sequence floor“), was darauf hindeutet, dass das Problem für bestimmte Arten von unordentlichen Daten immer noch sehr schwierig ist.

Warum es wichtig ist

Dieses Paper zeigt, dass wir, wenn wir Computer anweisen, aus einem unordentlichen Haufen realer Videos zu lernen, sie nicht dazu zwingen können, sofort eine einzige, harte Entscheidung zu treffen. Stattdessin müssen wir sie zulassen, alle Möglichkeiten gleichzeitig im Kopf zu behalten, damit die endgültige Entscheidung aus dem Gesamtbild hervorgeht.

Die Autoren weisen vorsichtig darauf hin, dass dies zwar ein bedeutender Schritt nach vorn ist, aber kein Zauberstab. Das System stützt sich immer noch auf vorverarbeitete Video-Features und deterministische Abfragen und kann immer noch verwirrt werden, wenn die Videos zu ähnlich oder die Daten zu verrauscht sind. Doch indem sie bewiesen haben, dass „das Offenhalten der Optionen“ besser funktioniert als „einen Gewinner frühzeitig zu küren“, haben sie den AI-Forschern einen neuen, robusteren Weg aufgezeigt, Maschinen beizubringen, wie sie aus dem chaotischen, wunderbaren Durcheinander menschlicher Instruktionsvideos lernen.

Technische Zusammenfassung: OSEF: One-Step Evidence Fusion für die plattformübergreifende Szenenprozedurplanung (Cross-Video Scene Procedure Planning)

1. Problemdefinition: Cross-Video Scene Procedure Planning (CVSPP)

Die Arbeit adressiert eine Lücke in der bestehenden Video-Szenen-Prozedurplanung (VSPP). Traditionelle VSPP-Systeme gehen davon aus, dass das korrekte Evidenzvideo und das zeitliche Fenster als Input bereitgestellt werden, um eine Aktionssequenz vorherzusagen, die einen Start-Szenen-Zustand in einen Ziel-Szenen-Zustand überführt. In praktischen Szenarien ist das korrekte Evidenzmaterial jedoch nicht verfügbar; ein System muss zuerst das korrekte Video aus einer Kandidatenmenge abrufen und das relevante zeitliche Fenster lokalisieren, bevor es mit der Planung beginnen kann.

Die Autoren führen Cross-Video Scene Procedure Planning (CVSPP) als ein Benchmark-Task ein, bei dem ein Modell Folgendes erhält:

Eine legale Abfrage (legal query): Eine Antwort-zensierte Textbeschreibung eines Start-Ziel-Übergangs (z. B. „Start: rohe Kartoffeln; Ziel: goldene Pommes serviert“), ohne die Video-ID, Zeitstempel oder die Aktionssequenz preiszugeben.
Einen Kandidatensatz ( $K$ Videos), wobei jedes Video in $M$ zeitliche Zellen unterteilt ist.

Das Modell muss gleichzeitig:

Das korrekte unterstützende Video abrufen (retrieve).
Das relevante zeitliche Fenster innerhalb dieses Videos lokalisieren (localize).
Die geordnete Closed-Set-Aktionssequenz, die die Start- und Zielzustände überbrückt, planen (plan).

Die Aufgabe wird durch zwei gekoppelte Herausforderungen definiert:

Evidenz-Ambiguität bei identischen Aufgaben (Same-task Evidence Ambiguity): Mehrere Kandidatenvideos können dieselbe nominale Prozedur mit nahezu identischen Phasen und benachbarten Fenstern demonstrieren, was macht eine Konditionierung allein über den Aufgaben-Namen unzureichend.
Fehlerfortpflanzung von Retrieval zu Planung (Retrieval-to-Plan Error Propagation): In Standard-„Retrieve-then-Plan“-Kaskaden führt eine frühe harte Auswahl des falschen Videos oder Fensters eine falsche Szenenkette an den Planer weiter, wodurch der Planungs-Loss irreversibel fehlschlägt.

2. Methodik: One-Step Evidence Fusion (OSEF)

Um diese Herausforderungen zu adressieren, schlagen die Autoren One-Step Evidence Fusion (OSEF) vor, ein Framework, das die irreversible Bindung an eine Evidenz verzögert. Anstatt ein einzelnes Video auszuwählen und ein Fenster vor der Planung auszuschneiden, bewertet OSEF alle Kandidatenzellen und speist die vollständige weiche (soft) Evidenzrepräsentation in einem einzigen differenzierbaren Pfad in den Planer ein.

Die Architektur besteht aus drei Hauptkomponenten:

Query-konditioniertes Evidenz-Gitter (Query-Conditioned Evidence Lattice):
- Das Modell bewertet jede Zelle $(k, m)$ im $K \times M$ Kandidatengitter gegen die legale Abfrage $q$ .
- Ein parameterfreier symmetrischer Lift konstruiert gültige geschlossene Intervalle $(i \le j)$ , um ein Gitter von Scores $H_\theta(q, k, i, j)$ zu bilden.
- Das Argmax dieses Gitters bestimmt das berichtete Video und den lokalisierten Bereich für die Evaluierung, aber der Pfad des Planers behält alle $K \times M$ Zellen bei.
Token-Globaler Evidence-to-Plan (E2P) Adapter:
- Diese Komponente verhindert den Verlust von Zell-Signalen, der bei Standard-Pooling auftritt.
- Sie flacht das gesamte $K \times M$ Gitter (ohne Zuschneiden) ab und verarbeitet es durch einen Single-Layer Transformer-Encoder.
- $2T$ gelernte Endpunkt-Queries (die den Start- und Zielzustand für jeden der $T$ Schritte repräsentieren) führen Cross-Attention zu allen Zellen im Gitter aus.
- Dies erzeugt eine Szenen-Zustands-Ketten-Tensorkonstruktion ( $B \times T \times 2 \times d_v$ ), wobei die Evidenz jedes Kandidaten für den Planer verfügbar bleibt, selbst wenn die harte Argmax-Auswahl falsch ist.
Ziel-konditionierter Planer (Goal-Conditioned Planner):
- Ein Drei-Layer-Transformer bildet die Zustandspaare auf pro-Schritt Aktions-Logits ab.
- Die legale Abfrage konditioniert den Planer über zwei Mechanismen: eine FiLM-artige affine Skalierung/Verschiebung über die Zustands-Tokens und als distinktes, vorangestelltes Token für die Attention.
- Ein geteilter Head dekodiert die $T$ Schritte.

Trainingsziel:
Das Modell verwendet Joint-Cascade Supervision. Der Loss ( $L_{JC}$ ) kombiniert den Cross-Entropy-Loss des aus der weichen globalen Kette ( $\hat{S}$ ) generierten Plans mit einer gewichteten Summe von Losses aus Plänen, die von einzelnen Kandidatenketten ( $S_k$ ) generiert wurden, gewichtet durch die Retrieval-Wahrscheinlichkeit $p_k$ . Dies ermöglicht es dem Planungs-Loss, die Evidenzrepräsentation neu zu gestalten.

3. Benchmark-Konstruktion

Die Autoren haben einen Benchmark aus 11 instruktionalen Videoquellen konstruiert (3 native Planungs-Benchmarks: COIN, CrossTask, NIV; und 8 konvertierte Quellen wie YouCook2, Ego4D, etc.).

Audit der legalen Abfragen: Ein „Fail-Closed“-Gate stellt sicher, dass Abfragen keine Informationen über die Ground-Truth enthalten (keine Video-IDs, Zeitstempel oder Aktionssequenzen).
Negative Rollen: Der Benchmark enthält typisierte negative Rollen, um spezifische Fehlermodi zu testen: Falsches Video (WV), Falsches Fenster (WO) und Falsche Aufgabe (WA).
Metriken:
- Evidenz-Achse: Exact-Video R@1, MRR und Span-IoU.
- Planungs-Achse: Pro-Schritt mittlere Genauigkeit (MAcc) und Exact-Sequence Success (PLAN-SR).
- Gesamtmetrik: FULL-SR, die Wahrscheinlichkeit, das Video korrekt abzurufen, das Fenster zu lokalisieren und die exakte Aktionssequenz gleichzeitig vorherzusagen.

4. Kernergebnisse

Das Paper evaluiert OSEF gegen neun angepasste Planer-Familien (einschließlich latenter, graphbasierter, generativer und diskreter Sequenz-Planer) über 14 Quell-Horizont-Zellen hinweg.

Ranking-Leistung: OSEF belegt den ersten Platz in allen sechs nativen Zellen (COIN, CrossTask, NIV), in denen ein Methoden-Ranking valide ist.
Leistungssteigerungen: Auf vier übereinstimmenden Same-Task-Zellen (COIN-T3/T4 und CrossTask-T3/T4) verbessert OSEF die FULL-SR um 2,9 bis 10,7 Prozentpunkte gegenüber einem verbesserten Hard-Selection State-of-the-Art (SOTA) Baseline.
Komponentenanalyse: Eine Ablationsstudie zeigt, dass das Token-globale Interface (das Beibehalten aller Zellen statt Pooling) den größten Einzelzuwachs an Leistung bewirkt. Soft-Pooling allein ist unzureichend; die Fähigkeit, das gesamte Gitter über gelernte Queries zu lesen, ist entscheidend.
Fehlermodi:
- Das Retrieval ist bei Distinct-Task-Kandidaten für spezifische Quellen nahezu gesättigt (z. B. erreicht NIV-T3 99,20 % R@1), aber die Planung bleibt der Flaschenhals.
- Die Lokalisierung ist schwach; ein korrekter Plan garantiert kein korrektes Fenster (FULL-SR bleibt hoch, selbst wenn der Span-IoU niedrig ist).
- Bei konvertierten Quellen mit groben Labels (z. B. CEgo, TACoS) liegt die Leistung oft nahe am „Majority-Sequence Floor“, was darauf hindeutet, dass diese Zellen eher label-degenerate Stress-Tests als Ranking-Evidenzen sind.

5. Bedeutung und Ansprüche

Das Paper beansprucht, der erste Benchmark zu sein, der Retrieval, Lokalisierung und Planung gemeinsam aus einer Antwort-zensierten Abfrage bewertet. Seine Bedeutung liegt in:

Formalisierung des gekoppelten Problems: Es trennt explizit „Same-Task Evidence Ambiguity“ von „Retrieval-to-Plan Error Propagation“ und zeigt, dass Hard-Selection-Kaskaden brüchig sind.
Einführung von Soft Fusion: OSEF demonstriert, dass das Beibehalten der Evidenz als „soft“ über das gesamte Kandidatengitter und die Einspeisung in den Planer via Token-globalem Adapter die Hard-Selection-Baselines signifikant übertrifft.
Benchmarking des Transfers: Es bietet ein rigoroses Testfeld dafür, wie bestehende VSPP-Planer funktionieren, wenn die Evidenz nicht bereitgestellt wird, und zeigt auf, dass die meisten geerbten Planer ohne die spezifische OSEF-Schnittstelle versagen.

Die Autoren merken bescheiden an, dass das aktuelle Setup gefrorene Features und deterministische Queries verwendet und die Kosten des Gitters mit der Anzahl der Kandidaten ( $K$ ) steigen. Sie identifizieren eine treue Span-Dekodierung und stärkere Backbones als offene Herausforderungen. Das Supplement enthält Modell-Konstruktoren, Evaluierungs-Code und Per-Cell-Audits.