Fusionista2.0: Efficiency Retrieval System for Large-Scale Datasets

Fusionista2.0 ist ein für den Video Browser Showdown optimiertes, effizientes Video-Rückgewinnungssystem, das durch den Einsatz beschleunigter Technologien wie ffmpeg, Vintern-1B-v3.5 und faster-whisper sowie eine neu gestaltete Benutzeroberfläche die Suchzeit um bis zu 75 % reduziert und gleichzeitig die Genauigkeit sowie die Benutzerzufriedenheit steigert.

Das Wesentliche

Stellen Sie sich vor, Sie suchen in einer riesigen, endlosen Bibliothek nach einem ganz bestimmten Video. Die Bibliothek hat 28.000 Filme, die zusammen Tausende von Stunden dauern. Normalerweise würde man hier Stunden suchen, aber beim „Video Browser Showdown" (einem Wettbewerb für Videosuchsysteme) haben Sie nur wenige Minuten Zeit, um die richtige Antwort zu finden.

Das ist die Aufgabe, die sich Fusionista 2.0 gestellt hat. Es ist wie ein super-schneller, digitaler Bibliothekar, der für diesen Wettbewerb neu erfunden wurde. Hier ist, wie er funktioniert, einfach erklärt:

1. Der schnelle Vorbereiter (Die Datenverarbeitung)

Früher musste der Bibliothekar jeden Film einzeln ansehen, um wichtige Szenen auszuwählen. Das war langsam und anstrengend.
Fusionista 2.0 hat das geändert. Statt jeden Film manuell zu prüfen, nutzt er einen extrem schnellen Werkzeugkasten (genannt ffmpeg). Stellen Sie sich das wie einen Roboter vor, der die Filme nicht „anschaut", sondern sie blitzschnell in ihre wichtigsten Einzelbilder zerlegt. Er sortiert den Müll weg und behält nur die klaren, wichtigen Bilder. Das spart enorm viel Zeit und Rechenleistung.

2. Der multitalentierte Übersetzer (Text und Sprache)

Oft steht etwas im Video oder wird gesprochen, was man suchen muss.

• Text im Bild: Früher war der System-Übersetzer manchmal verwirrt. Jetzt nutzt er einen neuen, schlauen Assistenten (Vintern-1B), der sogar verschwommene oder verdeckte Buchstaben lesen kann – wie ein Detektiv, der auch durch Nebel sehen kann.
• Gesprochene Sprache: Früher hörte sich das System jeden Ton genau an, was sehr lange dauerte. Da in den Videos oft nur Hintergrundgeräusche zu hören sind, hat Fusionista 2.0 einen leichteren, schnelleren Hörer (faster-whisper) eingebaut. Er hört nur das Wichtige und ignoriert das Rauschen. Das geht viermal schneller als vorher.

3. Der schnelle Denker (Fragen beantworten)

Wenn Sie fragen: „Wie viele Schuhe sind auf dem Bild?", braucht das System keine riesige, langsame Super-Intelligenz, die Stunden zum Nachdenken braucht.
Statt dessen nutzt Fusionista 2.0 einen kleinen, aber sehr schnellen Helfer (InternVL-1B). Stellen Sie sich das wie einen schnellen Kellner vor, der sofort weiß, wie viele Teller auf dem Tisch stehen, anstatt erst ein ganzes Buch über Teller zu lesen. Er ist schnell genug, um innerhalb von Sekunden zu antworten, aber genau genug, um nicht zu verwirren.

4. Der Feinschmecker (Das Nachsortieren)

Manchmal findet das System viele ähnliche Videos, aber nicht das perfekte.
Hier kommt die Neuordnung (Reranking) ins Spiel. Das System stellt dem Nutzer intelligente Rückfragen: „Meinten Sie einen gelben Hund oder einen braunen?" oder „Ist das Tier im Bild?" Basierend auf den Antworten sortiert es die Ergebnisse neu. Es ist wie ein persönlicher Assistent, der sagt: „Ah, Sie suchen das, nicht das!" und die Liste sofort verbessert.

5. Die neue Bedienfläche (UI/UX)

Früher war die Oberfläche vielleicht etwas unübersichtlich, wie ein altes, staubiges Regal.
Fusionista 2.0 hat eine frische, moderne Benutzeroberfläche bekommen. Sie ist so gestaltet, dass man sich nicht verirrt. Man kann schnell zwischen verschiedenen Sucharten (Bild, Text, Sprache) wechseln, und die Ergebnisse werden übersichtlich gruppiert. Es ist wie der Unterschied zwischen einem chaotischen Lagerkeller und einem gut organisierten, hellen Supermarkt, in dem man sofort findet, was man braucht.

Das Ergebnis?

Durch all diese Verbesserungen ist Fusionista 2.0 bis zu 75 % schneller geworden. Aber es ist nicht nur schneller; es ist auch genauer und für jeden Benutzer (auch für Nicht-Experten) viel einfacher zu bedienen.

Zusammenfassend: Fusionista 2.0 ist wie ein Rennwagen, der für den Alltag umgebaut wurde. Er behält die Geschwindigkeit für den Wettbewerb, ist aber jetzt so komfortabel und einfach zu steuern, dass jeder damit fahren kann, um in riesigen Videodatenmengen blitzschnell das Richtige zu finden.

Technische Zusammenfassung

Problemstellung

Das Video Browser Showdown (VBS) stellt Systeme vor die Herausforderung, genaue Suchergebnisse unter extrem strengen Zeitbedingungen zu liefern. Die bestehenden Systeme stießen bei der Skalierung auf Multi-Terabyte-Datensätze (wie den V3C-Datensatz mit über 28.000 Videos) an ihre Grenzen. Die Hauptprobleme waren:

• Rechenintensive Vorverarbeitung: Frühere Pipelines zur Schlüsselbildauswahl (Keyframe Selection) nutzten mehrere komplexe Modelle (CLIP, TransNetV2), was zu hohem GPU- und Speicherbedarf führte.
• Ineffizienz bei Text- und Spracherkennung: Große OCR- (Optical Character Recognition) und ASR-Modelle (Automatic Speech Recognition) waren zu langsam für Echtzeitanwendungen.
• Langsame Frage-Antwort-Systeme: Massive Vision-Language-Modelle (VLMs) waren für zeitkritische Aufgaben zu träge.
• Benutzerfreundlichkeit: Die bisherigen Schnittstellen waren für Nicht-Experten schwer zu bedienen und behinderten den natürlichen Suchfluss.

Methodik und Systemarchitektur

Fusionista2.0 ist eine Weiterentwicklung der Vorgängersysteme Fusionista und Fustar. Das System wurde vollständig neu gestaltet, um Geschwindigkeit und Benutzererfahrung zu maximieren, ohne die Genauigkeit zu opfern. Die Architektur umfasst folgende Kernmodule:

1. Optimierte Datenvorbereitung (Data Preparation):

   • Statt einer mehrstufigen Pipeline mit komplexen Modellen wird nun eine ffmpeg-basierte Vorverarbeitung verwendet.
   • Das System extrahiert deterministisch alle intra-kodierten Frames (I-Frames) als Schlüsselbilder. Dies reduziert den Rechenaufwand und den Speicherverbrauch drastisch, während die Qualität für die Suche erhalten bleibt.

2. Erweiterter Textsuche (Textual Search):

   • Es wird ein Ensemble-Ansatz verwendet, der zwei CLIP-Varianten kombiniert: CLIP-Sig400M und CLIP-ViT-5B.
   • Die endgültige Ähnlichkeitsbewertung $s(q, v)$ wird durch eine gewichtete Summe berechnet: $s(q, v) = 0.7 \cdot s_{Sig400M} + 0.3 \cdot s_{ViT-5B}$.
   • Der Faktor $\alpha = 0.7$ wurde empirisch basierend auf einer Nutzerstudie gewählt, um die beste Balance zwischen semantischer Tiefe und Geschwindigkeit zu erreichen.

3. Effiziente OCR und ASR:

   • OCR: Das vorherige PaddleOCR-System wurde durch Vintern-1B-v3.5 ersetzt. Dieses Modell (feinabgestimmt auf InternVL2.5-1B) ist leichtgewichtig, aber robust, besonders bei mehrsprachigen Texten und unscharfen oder verdeckten Zeichen.
   • ASR: Anstelle des ressourcenintensiven Whisper-Modells wird faster-whisper eingesetzt. Dies beschleunigt die Transkription um das Vierfache, was für Datensätze mit viel Hintergrundgeräusch (wenig Sprache) ausreichend genau ist.

4. Frage-Antwort-System (Question Answering - QA):

   • Statt großer Modelle (≥7B Parameter) werden leichtgewichtige Vision-Language-Modelle (≤1B Parameter) verwendet, um die Inferenzzeit zu minimieren.
   • Basierend auf einem Benchmark-Datensatz (200 Video-Frage-Paare) wurde InternVL-1B-ffn6-Seq als bestes Modell identifiziert. Es bietet die beste Balance zwischen Genauigkeit (insb. beim Zählen und Merkmalsextraktion) und Geschwindigkeit (< 5 Sekunden pro Abfrage).
   • Für komplexe logische Schlussfolgerungen bleibt eine menschliche Bestätigung im Loop („Human-in-the-Loop").

5. Neuordnung (Reranking) mit interaktiver Bestätigung:

   • Ein neuer Reranking-Mechanismus nutzt ein VQA-System (unterstützt durch GPT-4o zur Generierung von Ja/Nein-Fragen), um die Suchergebnisse zu verfeinern.
   • Das System stellt automatisch detaillierte Fragen (z. B. „Ist ein Hund im Bild?"), die von einem Vision-Language-Modell beantwortet werden, um die Trefferliste basierend auf der Nutzerabsicht neu zu sortieren.

6. UI/UX-Upgrade:

   • Die Benutzeroberfläche wurde von Create React App auf Vite migriert, was die Leistung signifikant steigerte.
   • Das Design folgt WCAG-Standards (Barrierefreiheit) und nutzt shadcn/ui.
   • Features wie virtuelles Scrollen, gruppierte Suchergebnisse, Sidebar-Shortcuts und ein konversationales VQA-Interface beschleunigen den Workflow.

Wichtige Beiträge

• Skalierbarkeit: Der Wechsel zu einer reinen ffmpeg-basierten Vorverarbeitung ermöglicht die Verarbeitung von Multi-Terabyte-Datensätzen mit minimalem Ressourcenverbrauch.
• Leichtgewichtige Multimodalität: Die Integration von spezialisierten, kleinen Modellen (Vintern, faster-whisper, InternVL-1B) statt riesiger Allzweck-Modelle für OCR, ASR und QA.
• Intelligente Nachbearbeitung: Die Einführung eines AI-gestützten Rerankings durch interaktive Ja/Nein-Abfragen zur Präzisierung der Suchergebnisse.
• Benutzerzentriertes Design: Eine vollständige Neugestaltung der UI, die die Lernkurve für Nicht-Experten reduziert und die Effizienz in zeitkritischen Szenarien erhöht.

Ergebnisse

• Geschwindigkeit: Die Suchzeit wurde um bis zu 75 % reduziert.
• Genauigkeit: Trotz der Geschwindigkeitsoptimierung stiegen sowohl die Treffergenauigkeit als auch die Zufriedenheit der Nutzer.
• Benchmark-Leistung: Das System zeigte in Tests mit neuen Nutzern signifikante Verbesserungen sowohl in der Effizienz (Verarbeitungszeit) als auch in der Effektivität (Relevanz der Ergebnisse).
• Modellauswahl: Das gewählte InternVL-1B-ffn6-Seq-Modell erreichte eine durchschnittliche Inferenzzeit von unter 5 Sekunden bei hoher Genauigkeit in Zähl- und Extraktionsaufgaben.

Bedeutung

Fusionista2.0 demonstriert, dass durch eine sorgfältige Optimierung aller Module und ein Fokus auf Benutzerfreundlichkeit hochleistungsfähige Systeme für große Videodatenmengen erstellt werden können, die den strengen Anforderungen des Video Browser Showdown (VBS) gerecht werden. Der Ansatz senkt die Einstiegshürde für den Einsatz solcher Systeme in der realen Welt und bietet einen neuen Standard für interaktive, multimodale Video-Suchsysteme, die Geschwindigkeit und Genauigkeit in Einklang bringen.