CuriosAI Submission to the CASTLE Challenge at EgoVis 2026
Das CuriosAI-Team stellt für die CASTLE-Challenge bei EgoVis 2026 zwei Ansätze, SVA und TMKG, vor, wobei ihre dreistufige Search-Verify-Answer-Pipeline eine Accuracy von 0,50 auf der Leaderboard-Basis bei 185 Multiple-Choice-Fragen erzielt, die aus über 600 Stunden synchronisierter Multi-View-Egocentric-Videoaufnahmen abgeleitet wurden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein riesiges Rätsel zu lösen, das auf 600 Stunden Videomaterial basiert, das von 12 Personen aufgezeichnet wurde, die zusammenleben, und das gleichzeitig von 15 verschiedenen Kameras gefilmt wurde. Die Herausforderung? Beantworten Sie 185 spezifische Multiple-Choice-Fragen darüber, was passiert ist, wer es getan hat und wann.
Dies ist die CASTLE-Herausforderung, und das Team von SoftBank (CuriosAI) versuchte zwei verschiedene Wege, sie mit künstlicher Intelligenz zu lösen. Sie nennen ihre Methoden SVA und TMKG.
Hier ist eine einfache Erklärung, wie sie funktionierten:
Die gemeinsame Grundlage: Die „Bibliothek"
Bevor sie versuchten, die Fragen zu beantworten, bauten beide Methoden zunächst eine massive, organisierte Bibliothek des Videos auf. Sie schauten sich nicht nur das rohe Video an; sie zerlegten es in fünf hilfreiche Schichten:
- Wer ist wer: Identifizierung der 12 Personen.
- Was passiert: Erstellen von Bildunterschriften für die Szenen.
- Welche Objekte vorhanden sind: Erkennen spezifischer Gegenstände wie Brettspiele oder Küchenutensilien.
- Was gesagt wurde: Transkription des Audios und Ermittlung, wer gesprochen hat.
- Der Zeitplan: Erstellen eines Zeitplans der Handlungen für jede Person.
Beide Methoden nutzten dieselbe „Bibliothek", aber sie verfolgten sehr unterschiedliche Wege, um die Antworten zu finden.
Ansatz A: SVA (Suchen – Überprüfen – Antworten)
Die Analogie: Der Detektiv mit einem strengen Regelbuch
Stellen Sie sich SVA als ein Team von drei Detektiven vor, die in einer strengen Fließbandproduktion arbeiten:
- Suchen (Der Kundschafter): Zuerst schauen sie sich die gesamte Bibliothek an und raten, welcher 15-minütige Videobereich die Antwort wahrscheinlich enthält. Sie reduzieren den Zeitraum von Stunden auf ein kleines Zeitfenster.
- Überprüfen (Der Skeptiker): Dies ist der wichtigste Teil. Sie nehmen dieses 15-minütige Zeitfenster und zerlegen es in kleinere 5-minütige Clips. Sie bitten eine KI, diese Clips anzusehen, geben ihr jedoch ein strenges Regelbuch, um zu verhindern, dass sie lügt (fiktive Erfindungen macht).
- Regel 1: Wiederholen Sie die Frage nicht einfach nur.
- Regel 2: Wenn das Video stumm oder leer ist, geben Sie zu, dass Sie es nicht wissen.
- Regel 3: Wenn Sie etwas zählen, müssen Sie genau darauf hinweisen, wo es im Video zu sehen ist.
- Regel 4: Erfinden Sie keine Fakten, wenn Sie sie nicht sehen können.
- Antworten (Der Richter): Schließlich betrachtet eine intelligente „Richter"-KI alle Beweise, die vom Skeptiker gesammelt wurden, wägt sie ab (vertraut dabei Audiozitate mehr als vagen visuellen Vermutungen) und wählt die endgültige Antwort aus.
Das Ergebnis: Diese Methode war sehr vorsichtig. Sie stellte der KI viele Fragen (etwa 28 Mal pro Rätsel), aber sie erhielt 50 % der Zeit die richtige Antwort. Dies war ihre erfolgreiche Einreichung.
Ansatz B: TMKG (Temporal–Multimodal–Knowledge–Graph)
Die Analogie: Das Netz der Verbindungen
Stellen Sie sich TMKG als den Aufbau eines riesigen, dreidimensionalen Spinnennetzes aus Fakten vor.
- Alle 5 Minuten erstellt das System einen „Knoten" (einen Punkt), der alles enthält, was passiert ist: wer anwesend war, was sie sagten und welche Objekte sichtbar waren.
- Es verbindet diese Punkte mit Fäden (Kanten), die zeigen, wer was getan hat, wo sie waren und was als Nächstes passierte.
- Wenn eine Frage eingeht, durchsucht das System dieses Netz, um den richtigen Knotencluster zu finden.
- Sobald es den Ort gefunden hat, übergibt es das Video und die Netzdaten an eine einzige KI, um sofort die Antwort zu geben.
Das Ergebnis: Diese Methode war schneller und stellte der KI weniger Fragen (nur etwa 1 Mal pro Rätsel), war aber weniger genau und erhielt nur 35 % der Zeit die richtige Antwort.
Die große Erkenntnis
Das Team verglich die beiden Ansätze und fand eine klare Lehre:
- SVA (Der Detektiv) gewann, weil er diszipliniert war. Indem er die KI zwang, ihre Arbeit zu überprüfen und strikte Regeln einzuhalten, keine Dinge zu erfinden, vermied sie alberne Fehler.
- TMKG (Das Netz) hatte Schwierigkeiten, weil es sich darauf verließ, dass eine einzige KI alles auf einmal erledigte, ohne diese zusätzliche Ebene der „Faktenprüfung".
Die Schlussfolgerung:
In diesem riesigen Maßstab (600 Stunden Video) reicht es einfach nicht aus, eine intelligentere Datenbank zu erstellen. Das Geheimnis war die Verifizierung. Obwohl die „Detektiv"-Methode mehr Rechenleistung und Zeit benötigte, machte der zusätzliche Schritt, die KI zu zwingen, ihre Fakten vor der Antwort zu beweisen, den Unterschied zwischen einer Punktzahl von 35 % und einer von 50 % aus.
Das Team stellte fest, dass beide Methoden manchmal scheiterten, weil sie das falsche 15-minütige Zeitfenster zum Start wählten. Sie kamen jedoch zu dem Schluss, dass, wenn man das richtige Fenster finden kann, das Hinzufügen eines „disziplinierten Verifizierers" der beste Weg ist, um die richtige Antwort zu erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.