🤖 AI

CoCoVideo: The High-Quality Commercial-Model-Based Contrastive Benchmark for AI-Generated Video Detection

Dieses Paper führt CoCoVideo-26K ein, einen hochwertigen Datensatz mit semantisch ausgerichteten Real-Fake-Videopaaren aus 13 kommerziellen Generatoren, und schlägt CoCoDetect vor, ein neuartiges Detektions-Framework, das kontrastives Lernen mit konfidenzgesteuerter multimodaler Argumentation kombiniert, um eine Spitzenleistung bei der Identifizierung hochgradig realistischer, KI-generierter Videos zu erzielen.

Ursprüngliche Autoren: Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huidong Feng, Wentao Chen, Jie Chen, Xinqi Cai, Ruolong Ma, Yinglin Zheng, Yuxin Lin, Ming Zeng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, das Internet wäre eine riesige Bibliothek. Lange Zeit waren die „gefälschten Bücher“ in dieser Bibliothek leicht zu erkennen, weil sie auf billigem, knittrigem Papier mit unscharfen Bildern gedruckt waren. Das Erkennen von ihnen war wie das Entdecken eines Tippfehlers in einer handschriftlichen Notiz.

Doch vor kurzem ist eine neue Generation von „gefälschten Büchern“ eingetroffen. Diese sind auf hochwertigem, glänzendem Papier gedruckt, mit Bildern, die so scharf und Geschichten, die so logisch sind, dass selbst ein menschlicher Bibliothekar getäuscht werden könnte. Dies ist die Welt der KI-generierten Videos (AIGC). Das Problem ist, dass die alten „Tippfehler-Detektoren“ (bestehende KI-Tools) auf diesen billigen, knittrigen Papieren trainiert wurden. Sie wissen nicht, wie man die subtilen Fehler in den neuen, hochwertigen Fälschungen erkennt.

Hier ist, was dieses Paper macht, um das zu beheben, einfach erklärt:

1. Der neue „Trainingsplatz“: CoCoVideo

Die Autoren erkannten, dass sie ihren neuen Detektor nicht mit den alten, minderwertigen Fake-Videos lehren konnten. Sie brauchten ein Fitnessstudio mit hochwertigen Geräten.

Das Problem mit alten Daten: Vorherige Datensätze verwendeten Open-Source-KI-Modelle, die Videos erstellten, die etwas „seltsam“ aussah (wie ein Zeichentrickcharakter, der komisch blinzelt). Kommerzielle KI aus der realen Welt (die Art, die von großen Unternehmen genutzt wird) erstellt Videos, die fast perfekt aussehen.
Die Lösung (CoCoVideo-26K): Das Team baute einen massiven neuen Datensatz namens CoCoVideo.
- Die „Zwilling-Strategie“: Stellen Sie sich vor, Sie haben ein echtes Foto eines Waldes. Sie bitten 13 verschiedene High-End-KI-Künstler, eine gefälschte Version genau desselben Waldes zu malen, ausgehend vom exakt gleichen ersten Frame.
- Das Ergebnis: Sie haben nun „Real vs. Fake“-Paare, die identisch in der Geschichte und im Ausgangspunkt sind, aber eines ist echt und eines ist KI. Dies zwingt den Detektor dazu, nach den winzigen Unterschieden in Textur und Physik zu suchen, anstatt nur basierend auf der Geschichte zu raten.

2. Der neue Detektiv: CoCoDetect

Soblich sie diesen hochwertigen Trainingsplatz hatten, bauten sie ein neues Detektorsystem namens CoCoDetect. Betrachten Sie diesen Detektiven als ein Zwei-Personen-Team, das zusammenarbeitet:

Teammitglied A: Der „Textur-Späher“ (Contrastive Learning)

Was es tut: Dieser Teil des Systems ist wie ein Forensiker, der die Körnung des Papiers untersucht. Er nutzt eine Standard-Video-KI (R3D-18), um das Video nach winzigen, unsichtbaren Fehlern zu scannen – wie einem Schatten, der sich nicht richtig bewegt, oder einer Hauttextur, die zu glatt aussieht.
Wie es lernt: Da es auf den „Zwilling“-Paaren aus CoCoVideo trainiert wurde, lernte es, den spezifischen „Fingerabdruck“ kommerzieller KI zu erkennen, und nicht nur die offensichtlichen Fehler alter KI.

Teammitglied B: Der „Logik-Richter“ (MLLM)

Was es tut: Manchmal sieht das Video für den Textur-Späher perfekt aus. Vielleicht stimmen die Schatten, und die Haut sieht echt aus. Aber ergibt die Geschichte Sinn?
Das „Confidence Gate“ (Vertrauens-Tor): Das ist der clevere Teil. Der Textur-Späher gibt einen „Konfidenzwert“ ab.
- Hohe Konfidenz: Wenn der Späher zu 95 % sicher ist, dass es eine Fälschung (oder echt) ist, trifft er die Entscheidung sofort. Schnell und effizient.
- Niedrige Konfidenz (Die „Vielleicht-Zone“): Wenn der Späher unsicher ist (z. B. „Ich denke, es ist eine Fälschung, aber ich bin mir nur zu 60 % sicher“), rät er nicht einfach. Stattdessen übergibt er den Fall an den Logik-Richter.
Die Aufgabe des Logik-Richters: Dies ist eine leistungsstarke KI, die Sprache und Physik versteht. Sie betrachtet das Video und fragt: „Moment mal. In dem Video fliegt ein Vogel rückwärts, während der Wind nach vorne weht. Das ist physikalisch unmöglich. Das muss eine Fälschung sein.“

3. Wie sie zusammenarbeiten

Das System arbeitet wie ein Sicherheitscheckpunkt:

Scan: Der Textur-Späher überprüft das Video.
Gate: Wenn das Video eindeutig gefälscht oder eindeutig echt ist, öffnet sich das Tor und die Entscheidung wird getroffen.
Begründung: Wenn das Video knifflig ist und der Späher verwirrt ist, leitet das Tor es an den Logik-Richter weiter. Der Richter liest die Szene, prüft die Gesetze der Physik und gibt ein endgültiges Urteil ab.
Fusion: Die endgültige Entscheidung kombiniert das „Textur-Bauchgefühl“ des Spähers mit der „logischen Argumentation“ des Richters.

Warum das wichtig ist (laut dem Paper)

Die Autoren testeten ihren neuen Detektoren gegen die alten unter Verwendung ihres neuen hochwertigen Datensatzes.

Das Ergebnis: Die alten Detektoren (trainiert auf minderwertigen Fälschungen) versagten kläglich, wenn sie mit den neuen Videos in kommerzieller Qualität konfrontiert wurden. Sie waren wie der Versuch, eine Nadel im Heuhaufen zu finden, indem man einen Magneten benutzt, der nur auf Eisen, aber nicht auf Stahl reagiert.
Der Gewinner: CoCoDetect, mit seinem „Späher + Richter“-Team, schnitt deutlich besser ab. Es bewies, dass man, um hochwertige Fälschungen zu entlarven, ein System benötigt, das sowohl auf die winzigen Details (Textur) als auch auf das große Ganze (Logik/Physik) achtet.

Kurz gesagt: Das Paper hat eine bessere „Trainingsschule“ unter Verwendung von hochwertigen kommerziellen KI-Fälschungen gebaut und einen Detektiven erschaffen, der einen „Bauchcheck“ für offensichtliche Fälschungen und einen „Logikcheck“ für die schwierigen Fälle nutzt, was es viel schwerer macht, dass uns hochwertige KI-Videos täuschen.

Technisches Resümee: CoCoVideo und CoCoDetect

1. Problemstellung

Der rasante Fortschritt bei Inhalten, die durch Künstliche Intelligenz generiert wurden (AIGC), hat zu immer ausgefeilteren Videofälschungen geführt, was erhebliche Herausforderungen für den öffentlichen Diskurs und die gesellschaftliche Sicherheit darstellt. Während die Deepfake-Erkennung Fortschritte gemacht hat, stehen aktuelle Methoden vor zwei kritischen Einschränkungen:

Qualitätslücke bei Datensätzen: Bestehende Benchmarks (z. B. GenBuster, GenVidBench) stützen sich stark auf Open-Source-Videogenerationsmodelle. Diese Modelle erzeugen Ausgaben mit geringerer visueller Wiedergabetreue und schwächerer Bewegungs- bzw. Szenenkonsistenz im Vergleich zu hochmodernen kommerziellen Systemen. Folglich neigen Modelle, die auf solchen Daten trainiert werden, dazu, qualitativ minderwertige generative Muster zu überanpassen (Overfitting) und scheitern an der Generalisierung auf hochqualitative kommerzielle AIGC-Videos.
Methodische Einschränkungen: Traditionelle Erkennungsmethoden konzentrieren sich oft auf spezifische generative Architekturen oder Low-Level-Manipulationsmerkmale (z. B. visuelle Artefakte, Frequenzanomalien). Sie haben Schwierigkeiten, High-Level-semantische Merkmale wie physikalische Logik und Szenenkohärenz zu nutzen, die entscheidend sind, um hochwertige Fälschungen zu unterscheiden, denen offensichtliche Low-Level-Artefakte fehlen.

2. Methodik

Das Paper stellt eine zweigleisige Lösung vor: einen neuen hochwertigen Datensatz (CoCoVideo-26K) und ein neuartiges Erkennungsframework (CoCoDetect).

2.1. CoCoVideo-26K Datensatz

CoCoVideo-26K ist ein kontrastiver, auf kommerziellen Modellen basierender Benchmark, der darauf ausgelegt ist, die Qualitätslücke zwischen Forschungsdaten und realen Bedrohungen zu schließen.

Datenzusammensetzung: Der Datensatz umfasst 26.000 Videoclips, die in semantisch ausgerichteten „Real–Fake“-Paaren organisiert sind.
- Reale Videos: Stammen aus OpenVid-1M, gefiltert nach hochqualitativen, realweltlichen Szenen (~13.000 Clips).
- Fake-Videos: Generiert unter Verwendung von 13 unterschiedlichen, hochmodernen kommerziellen Videogenerationsmodellen (z. B. Sora, Kling, Runway Gen4, Jimeng 3.0, Midjourney v7). Jedes Modell trägt 1.000 Videos bei.
Kontrastive Struktur: Jedes reale Video ist mit einem synthetischen Gegenstück gepaart, das aus demselben ersten Frame und demselben identischen Text-Prompt generiert wurde. Dies gewährleistet eine strikte semantische Ausrichtung und ermöglicht eine feingliedrige Analyse der Unterschiede in Textur, Bewegung und Szenenkonsistenz unter identischen Inhaltsbedingungen.
Skalierung und Diversität: Der Datensatz deckt diverse Kategorien ab, darunter menschliche Interaktionen, die Zubereitung von Lebensmitteln, Pflanzenwachstum und natürliche Landschaften, mit einer konsistenten Dauer von ~5 Sekunden und Bildraten von 24–30 FPS.

2.2. CoCoDetect Framework

CoCoDetect ist ein Erkennungsframework, das kontrastives Lernen mit einem konfidenzbasierten (confidence-gated) Multimodalen Large Language Model (MLLM) Reasoning-Mechanismus integriert.

Backbone: Das System nutzt ein R3D-18 Netzwerk, um spatio-temporale Repräsentationen aus Eingabe-Video-Batches zu extrahieren.
Dual-Head Architektur:
1. Confidence Head: Ein dreischichtiger MLP gefolgt von einer Sigmoid-Aktivierung gibt einen Konfidenzwert ( $p \in [0, 1]$ ) aus, der die Wahrscheinlichkeit angibt, dass ein Video echt ist.
2. Projection Head: Ein zweischichtiger MLP bildet die Features in einen 128-dimensionalen Embedding-Raum für das kontrastive Lernen ab.
Loss-Funktion:
- Confidence Loss: Binäre Kreuzentropie (BCE) für die Authentizitätsklassifizierung.
- Paired Contrastive Loss: Im Gegensatz zum traditionellen überwachten kontrastiven Lernen, das alle Proben derselben Klasse clustert, erzwingt dieser Loss spezifisch die Trennung zwischen semantisch ausgerichteten Real–Fake-Paaren (die denselben ersten Frame und Prompt teilen). Er verwendet eine Hinge-Penalty, um sicherzustellen, dass die Kosinus-Ähnlichkeit zwischen einem Real–Fake-Paar unter einem bestimmten Schwellenwert bleibt, ohne nicht-gepaarte Proben einzuschränken.
Confidence-Gated MLLM Inference:
- Routing-Mechanismus: Während der Inferenz wird eine Probe, wenn der Konfidenzwert $p$ in einem unsicheren Bereich liegt (definiert durch $\tau$ ), an ein MLLM (LLaVA-NeXT-Video-7B) geroutet. Proben mit hoher Konfidenz werden direkt durch den Backbone klassifiziert.
- MLLM Reasoning: Für unsichere Fälle analysiert das MLLM Schlüssel-Frames und den Konfidenzwert, um über die physikalische Plausibilität und Szenenkohärenz zu urteilen. Es gibt ein strukturiertes JSON aus, das ein binäres Urteil, einen semantischen Konfidenzwert und eine Erläuterung in natürlicher Sprache enthält.
- Entscheidungsfusion: Die Ausgabe des MLLM wird auf denselben semantischen Raum wie die Konfidenz des Backbones abgebildet und mittels einer adaptiven Gewichtungsstrategie fusioniert, um die endgültige Klassifizierung zu erzeugen.

3. Kernbeiträge

CoCoVideo-26K Benchmark: Die Etablierung eines hochwertigen Datensatzes, der kontrastive Real–Fake-Paare aus 13 kommerziellen Modellen enthält und einen neuen Standard für die Bewertung der AIGC-Erkennung unter realistischen, hochqualitativen Bedingungen setzt.
CoCoDetect Framework: Eine neuartige Architektur, die duales kontrastives Lernen (für die Unterscheidung auf Texturebene) mit einem konfidenzbasierten MLLM-Mechanismus (für die semantische Ebene) kombiniert, was eine systematische Beurteilung über beide Feature-Ebenen hinweg ermöglicht.
Empirische Validierung: Umfassende Experimente, die eine State-of-the-Art-Performance auf dem CoCoVideo-Testset und eine starke Generalisierungsfähigkeit über mehrere öffentliche Open-Source-Benchmarks hinweg demonstrieren.

4. Experimentelle Ergebnisse

4.1. Performance auf CoCoVideo-26K

Auf dem vorgeschlagenen Testset erreichte CoCoDetect die beste durchschnittliche Leistung in Bezug auf Accuracy (90,69 %), F1-Score (90,62 %), Recall (89,95 %) und AUC (95,93 %) und übertraf damit starke Baselines wie DeMamba, VideoMAE und 3D ResNeXt.

Beobachtung: Die Methode zeigte eine konservative Entscheidungsstrategie, die die Präzision (Precision) gegenüber dem Recall priorisierte, indem sie gezielt das MLLM für unsichere Fälle einsetzte, um Fehlalarme effektiv zu reduzieren.
Einschränkung: Die Performance sank leicht bei Modellen wie Jimeng und Veo3, wo Auflösungsinkonsistenzen zwischen Real–Fake-Paaren die semantische Ausrichtung störten.

4.2. Cross-Dataset Generalisierung

In der Evaluierung auf fünf öffentlichen Benchmarks (GVD, GVF, GenVideo, GenVidBench, GenBuster) demonstrierte CoCoDetect eine robuste Generalisierung:

Es erreichte die höchste Genauigkeit bei vier der fünf Benchmarks.
Auf GenBuster, das ältere Versionen derselben kommerziellen Modelle verwendet, behielt CoCoDetect eine starke Performance bei, was darauf hindeutet, dass es weniger auf spezifische generative Artefakte und mehr auf generalisierbare semantische und texturelle Merkmale angewiesen ist.
Bei GenVideo sank die F1-Score aufgrund der Verbreitung kurzer, nahezu statischer Clips, die die für die Bewegungsanalyse des MLLM erforderliche zeitliche Kohärenz störten.

4.3. Ablationsstudien

Ablations-Experimente bestätigten die Notwendigkeit beider Komponenten:

Das Entfernen des Projection Heads (kontrastives Lernen) reduzierte den AUC von 95,93 % auf 91,39 %.
Das Entfernen des MLLM (Verlass auf nur Konfidenzscores) reduzierte den AUC auf 95,46 %.
Das vollständige Modell erzielte die höchsten Werte, was validiert, dass Low-Level-kontrastive Features und High-Level-semantisches Reasoning synergetisch zusammenwirken.

4.4. Fallstudien

Hohe Konfidenz: Das kontrastive Netzwerk identifizierte offensichtliche Texturartefakte korrekt ohne MLLM-Intervention.
Niedrige Konfidenz (Gerettet): In ambivalenten Fällen identifizierte das MLLM erfolgreich semantische Fehler (z. B. eine Hängebrücke, die fälschlicherweise als Schornstein interpretiert wurde), die der Backbone übersehen hatte, und korrigierte die Vorhersage.
Fehlerfall: In einfachen natürlichen Szenen mit subtilen Artefakten und ohne offensichtliche semantische Inkonsistenzen versagten beide Module, was die aktuelle Schwierigkeit bei der Erkennung von Fälschungen in Umgebungen mit geringer Komplexität verdeutlicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CoCoVideo-26K die kritische Lücke zwischen Forschungsdatensätzen und realen kommerziellen AIGC-Bedrohungen schließt und somit einen zuverlässigeren Benchmark für Training und Evaluierung bietet. CoCoDetect wird als robustes Framework präsentiert, das die Grenzen rein texturbasierter Erkennung überwindet, indem es semantisches Reasoning für unsichere Fälle integriert.

Die Autoren betonen, dass ihr Ansatz die Effektivität der Kombination von feingliedrigem kontrastivem Lernen mit High-Level-semantischer Verifizierung validiert. Sie kommen zu dem Schluss, dass ihre Methode zwar State-of-the-Art-Leistung und starke Generalisierung zeigt, zukünftige Arbeiten jedoch darauf abzielen werden, den Datensatz mit Audio-Modalitäten und reichhaltigeren semantischen Annotationen zu erweitern, um die vertrauenswürdige Erkennung von AIGC-Inhalten weiter zu verbessern.