💻 computer science

Unifying Watermarking via Dimension-Aware Mapping

Das Papier schlägt DiM vor, ein einheitliches mehrdimensionales Wasserzeichen-Framework, das das Wasserzeichen als dimensionsbewusstes Mapping-Problem behandelt und zeigt, dass allein die Variation der Dimensionalität der Einbettungs- und Extraktionsprozesse vielfältige Fähigkeiten wie die räumlich-zeitliche Manipulationslokalisierung und die Wiederherstellung der Bildreihenfolge ermöglichen kann, ohne die zugrunde liegende Architektur zu verändern.

Ursprüngliche Autoren: Jiale Meng, Runyi Hu, Jie Zhang, Zheming Lu, Ivor Tsang, Tianwei Zhang

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiale Meng, Runyi Hu, Jie Zhang, Zheming Lu, Ivor Tsang, Tianwei Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen einen magischen Stempel, den Sie auf ein Video drücken können. Dieser Stempel hinterlässt ein verborgenes Merkmal, das beweist, dass das Video Ihnen gehört und nicht manipuliert wurde. Lange Zeit haben Wissenschaftler verschiedene „Stempel“ für unterschiedliche Aufgaben entwickelt: Einige sind nur ein einfacher Geheimcode (wie eine Seriennummer), andere sind wie eine Landkarte, die genau zeigt, wo jemand versucht hat, Teile des Videos zu schneiden oder einzufügen.

Das Problem ist, dass diese Stempel als separate, unzusammenhängende Erfindungen gebaut wurden. Die Autoren dieser Arbeit fragten: „Können wir eine einzige Master-Maschine bauen, die all diese Aufgaben erledigen kann, indem wir einfach die Art und Weise ändern, wie wir sie mit Informationen füttern?“

Ihre Antwort ist DiM (Dimension-Aware Mapping). So funktioniert es, erklärt anhand einfacher Analogien:

1. Die Kernidee: Der „Dimension“-Schalter

Betrachten Sie die Wasserzeichen-Information als ein Paket.

1D-Paket (Die Seriennummer): Dies ist eine einfache Liste von 0 und 1. Sie ist flach und linear. Sie eignet sich hervorragend, um zu sagen: „Dieses Video gehört mir“, aber sie sagt Ihnen nicht, wo im Video etwas passiert ist.
2D-Paket (Die Landkarte): Dies ist ein flaches Bild oder eine Maske. Es deckt die Breite und Höhe eines Rahmens ab. Es ist, als würde man einen Kreis auf ein Foto zeichnen, um zu sagen: „Dieser spezifische Punkt wurde berührt.“
3D-Paket (Das Zeit-Movie): Dies fügt der Zeit eine weitere Dimension hinzu. Es ist ein Stapel von Karten, die sich ändern, während das Video abgespielt wird. Es ist wie eine 3D-Skulptur der Geschichte des Videos.

Die Arbeit behauptet, dass die Magie nicht darin liegt, die Maschine (die Netzwerkarchitektur) zu ändern; es liegt darin, die Form des Pakets zu ändern, das man ihr gibt.

2. Wie die Maschine funktioniert

Die Autoren haben eine einzige „Universelle Wasserzeichen-Maschine“ gebaut (die sie DiM-V für Video nennen). Sie können unterschiedliche Arten von Paketen in sie einspeisen, und die Maschine passt ihr Verhalten automatisch an:

Gleichdimensionale Übereinstimmung (Der „Spiegeleffekt“):
Wenn Sie der Maschine ein 1D-Paket (einen einfachen Code) geben und nach einer 1D-Antwort fragen, agiert sie wie ein perfekter ID-Scanner. Sie prüft, ob der geheime Code noch vorhanden ist. Das ist ideal für den Urheberrechtsschutz.
Wenn Sie ihr ein 3D-Paket (eine zeitbasierte Karte) geben und nach einer 3D-Antwort fragen, agiert sie wie ein Hochleistungs-Detektiv. Sie kann Ihnen genau sagen, welcher Frame und welcher Teil des Bildschirms verändert wurde.
Dimensionsübergreifende Übereinstimmung (Der „Übersetzer-Effekt“):
Hier wird es clever.
- Kleiner Input, großer Output (Niedrig-zu-Hoch): Stellen Sie sich vor, Sie geben der Maschine eine winzige, einfache Notiz (1D), aber bitten sie, eine vollständige Karte (2D oder 3D) zu zeichnen. Die Maschine nutzt diese winzige Notiz, um ihre Sichtweise zu „erweitern“ und herauszufinden, wo das Video manipuliert wurde. Es ist, als würde man einem Detektiv einen einzelnen Hinweis geben und ihn die gesamte Tatort-Szene rekonstruieren lassen.
- Großer Input, kleiner Output (Hoch-zu-Niedrig): Stellen Sie sich vor, Sie geben der Maschine eine komplexe, zeitintensive 3D-Karte, aber bitten sie um eine einfache 1D-Antwort. Die Maschine „komprimiert“ die komplexe Historie zu einer einfachen Zusammenfassung. Dies ist nützlich, wenn das Video umgestellt oder durcheinandergebracht wurde; die Maschine kann die chaotische Zeitfolge ignorieren und einfach die Kernidentität extrahieren.

3. Die Video-Superkraft: Das Reparieren von durcheinandergebrachter Zeit

Einer der größten Ansprüche der Arbeit betrifft den Umgang mit durcheinandergebrachten Videos.
Stellen Sie sich vor, jemand nimmt ein Video, schneidet es in 10 Teile und mischt die Reihenfolge wie bei einem Kartendeck.

Alte Methoden: Sie sind verwirrt. Sie können nicht erkennen, welcher Frame zuerst kam, und können daher die ursprüngliche Geschichte nicht wiederherstellen.
DiMs Methode: Die Autoren haben ein spezielles „3D-Paket“ entworfen, bei dem jedem Frame ein eindeutiger, verborgener Binärcode (wie ein geheimer ID-Tag) beigefügt wird. Selbst wenn die Frames vertauscht wurden, kann die Maschine diese Tags lesen, feststellen: „Warte, Frame 5 gehört eigentlich vor Frame 2“, und das Video in seinen ursprünglichen Zustand zurückordnen.

4. Die Ergebnisse: Eine Maschine, viele Aufgaben

Die Autoren testeten dies, indem sie die Maschine mit tausenden Videos trainierten. Sie haben dabei nicht das Gehirn der Maschine (die neuronale Netzwerkstruktur) geändert, sondern nur die Dimension der Daten geändert, die sie ihr fütterten.

Ergebnis 1: Sie konnten Standard-Urheberrechtsprüfungen durchführen (Ist dieses Video mein Eigentum?).
Ergebnis 2: Sie konnten exakt bestimmen, wo jemand das Video bearbeitet hat (Manipulation-Lokalisierung).
Ergebnis 3: Sie konnten Videos reparieren, bei denen die Frames vertauscht oder gelöscht wurden.

Das Fazit

Die Arbeit argumentiert, dass wir nicht für jedes neue Problem eine neue Art von Wasserzeichen erfinden müssen. Stattdessen müssen wir lediglich verstehen, dass Wasserzeichen-Technik über das Mapping von Dimensionen geht. Indem wir das Wasserzeichen als ein flexibles Paket behandeln, das 1D, 2D oder 3D sein kann, kann ein einziges System alles bewältigen – von einfachen ID-Checks bis hin zu komplexer Video-Forensik – indem es einfach die „Dimension“ der Aufgabe wechselt.

Technisches Resümee: Vereinheitlichung des Watermarking via Dimensionsbewusster Abbildung

1. Problemstellung

Methoden für Deep Watermarking sind weitgehend zu ähnlichen Encoder-Decoder-Architekturen konvergiert, weisen jedoch erhebliche funktionale Unterschiede basierend auf ihren spezifischen Aufgabenstellungen auf. Aktuelle Ansätze sind typischerweise fragmentiert:

Urheberrechtsprüfung (Copyright Verification): Die meisten Methoden konzentrieren sich auf das Einbetten und Extrahieren von eindimensionalen (1D) binären Nachrichten zur Verifizierung der Inhaberschaft.
Manipulationslokalisierung (Tamper Localization): Andere Methoden führen fragile Signale ein oder formulieren die Extraktion als räumliche Vorhersageprobleme um, um manipulierte Regionen zu detektieren.
Video-Limitierungen: Bestehende Video-Watermarking-Methoden modellieren Wasserzeichen überwiegend als globale 1D-Nachrichten. Ihnen fehlt eine explizite Modellierung der räumlichen Lokalität und kritisch betrachtet versäumen sie es, temporale Strukturen (z. B. die Frame-Reihenfolge) zu kodieren oder wiederherzustellen, wenn Videos neu angeordnet oder gemischt werden.

Das zentrale Problem ist der Mangel an einer vereinheitlichten Modellierungsperspektive. Unterschiedliche Watermarking-Funktionalitäten werden durch ad-hoc, aufgabenspezifische Designs realisiert, ohne dass ein gemeinsamer theoretischer Rahmen existiert. Dies wirft die Frage auf, ob diese disparaten Designs unter einem einzigen Paradigma interpretiert werden können.

2. Methodik: Das DiM-Framework

Die Autoren schlagen DiM (Dimension-aware Mapping) vor, ein vereinheitlichtes Framework, das Watermarking als dimensionsbewusstes Abbildungsproblem formuliert. Anstatt die Form des Wasserzeichens festzulegen, modelliert DiM die Wasserzeicheninformationen als Payloads unterschiedlicher Dimensionalitäten ( $d$ ) und definiert den Einbettungs-Extraktions-Prozess basierend auf der Beziehung zwischen der Einbettungsdimension ( $d_e$ ) und der Extraktionsdimension ( $d_d$ ).

2.1 Multidimensionale Payload-Räume

Das Framework definiert drei Payload-Räume:

1D Binärer Payload ( $P^{(1)}$ ): Globale, permutationsinvariante binäre Informationen (z. B. Inhaber-IDs).
2D Räumlicher Payload ( $P^{(2)}$ ): Räumlich lokalisierte strukturelle Informationen (z. B. Masken für regionaler Ebene gerichteter Constraints).
3D Spatiotemporaler Payload ( $P^{(3)}$ ): Über Raum-Zeit-Volumina definierte strukturelle Informationen (z. B. spatiotemporale Masken).

2.2 Dimensionsbewusste Abbildungen

Das Framework kategorisiert Watermarking-Verhaltensweisen basierend auf der Abbildung $\mathcal{M}\{d_e, d_d\}$ :

Gleichdimensionale Abbildung ( $d_e = d_d$ ): Bewahrt die Payload-Struktur und ermöglicht eine feingranulare Kontrolle (z. B. Urheberrechtsprüfung).
Kreuzdimensionale Abbildung ( $d_e \neq d_d$ ):
- Low-to-High ( $d_e < d_d$ ): Bettet niedrigdimensionale Daten ein und extrahiert hochdimensionale Repräsentationen. Dies induziert struktur-expandierende Projektionen, was eine räumliche oder spatiotemporale Lokalisierung ermöglicht (z. B. Detektion manipulierter Regionen aus einer globalen ID).
- High-to-Low ( $d_e > d_d$ ): Bettet hochdimensionale Daten ein und extrahiert niedrigdimensionale Repräsentationen. Dies fungiert als struktur-entkoppelte Projektion, die nützlich ist, um die Dekodierungskomplexität zu reduzieren oder Informationen wiederherzustellen, wenn die kreuzdimensionale Kohärenz schwach ist.

2.3 Instanziierung: DiM-V (Video-Watermarking)

Um allgemeine dimensionale Konfigurationen zu untersuchen, instanziiert die Autorenschaft DiM im Videobereich als DiM-V.

Payload-Instanziierung:
- 1D: Zufällige binäre Nachrichten.
- 2D: Räumliche Masken (vollständig, rechteckig, unregelmäßig, segmentiert), die pro Frame gesampelt werden.
- 3D: Spatiotemporale Maskentensoren. Entscheidend ist, dass DiM-V einen Mechanismus zur Multi-Channel-Masken-Kodierung einführt, bei dem jedem Frame ein distinkter, permutationsinvarianter binärer Code entlang der Kanaldimension zugewiesen wird. Dies ermöglicht es dem System, die Frame-Identität explizit zu kodieren und die zeitliche Ordnung selbst bei beliebigen Frame-Permutationen wiederherzustellen.
Vereinheitlichte Pipeline: DiM-V verwendet eine einzige Netzwerkarchitektur (adaptiert von MaskWM) mit einem gemeinsamen Rausch-Layer. Der Input-Tensor wird durch Konkatenierung des Host-Videos mit den Feature-Repräsentationen der 1D-Nachricht und optionalen 2D/3D-Masken konstruiert. Durch die bloße Variation der dimensionalen Konfiguration der Einbettungs- und Extraktions-Heads wechselt das System zwischen verschiedenen Funktionalitäten, ohne die Architektur ändern zu müssen.

3. Kernbeiträge

Vereinheitlichte Modellierungsperspektive: Das Paper schlägt DiM vor, welches bestehende Bild- und Video-Watermarking-Methoden als spezifische Instanzen von dimensionsbewussten Abbildungen interpretiert, statt als isolierte, aufgabengetriebene Designs.
Dimensionale Konfiguration als Kontrollmechanismus: Es zeigt auf, dass das funktionale Verhalten eines Wasserzeichens (z. B. Robustheit vs. Lokalisierung vs. temporale Wiederherstellung) maßgeblich durch die dimensionale Beziehung zwischen Einbettung und Extraktion bestimmt wird und nicht nur durch die Netzwerkarchitektur.
Spatiotemporale Modellierung in Videos: DiM-V adressiert die Limitationen aktueller Video-Watermarking-Methoden durch die explizite Modellierung temporaler Strukturen. Es führt einen Mechanismus zur Kodierung der Frame-Identität ein, der die Wiederherstellung temporaler Sequenzen selbst dann ermöglicht, wenn Frames neu angeordnet oder gemischt wurden.
Flexibilität ohne Redesign: Das Framework zeigt, dass diverse Fähigkeiten (globale Urheberrechtsprüfung, lokale Einbettungskontrolle, spatiotemporale Manipulationslokalisierung und temporale Reihenfolge-Wiederherstellung) durch Anpassung der dimensionalen Einstellungen innerhalb eines einzigen vereinheitlichten Modells erreicht werden können.

4. Experimentelle Ergebnisse

Die Experimente wurden auf dem SA-V Datensatz (über 12.000 Videos) mit einer Auflösung von 256×256 und 8 Frames durchgeführt.

Robustheit und Unauffälligkeit (Imperceptibility): In gleichdimensionalen Abbildungen ( $\mathcal{M}\{3,3\}$ ) demonstrierte DiM-V eine überlegene Robustheit gegenüber Wert-, geometrischen und Frame-basierten Distorsionen im Vergleich zu Baselines wie VideoSeal, RivaGAN und REVMark, während es gleichzeitig konkurrenzfähige PSNR- und SSIM-Werte beibehielt.
Lokalisierungsfähigkeiten:
- Lokale Extraktion: Kreuzdimensionale Abbildungen (z. B. $\mathcal{M}\{1,3\}$ und $\mathcal{M}\{2,3\}$ ) ermöglichten es dem System, lokale Extraktion und Manipulationslokalisierung durchzuführen, wobei es Baselines wie WAM und MaskWM-D in Intersection-over-Union (IoU) Metriken übertraf.
- Temporale Wiederherstellung: Die Multi-Channel-Kodierung in DiM-V konnte die ursprüngliche zeitliche Ordnung von Videos erfolgreich wiederherstellen, selbst wenn Frames neu angeordnet oder gemischt wurden – eine Fähigkeit, die bisherigen Video-Watermarking-Methoden fehlte.
Effizienz: Das Framework erreichte diese vielfältigen Fähigkeiten, ohne die zugrunde liegende Netzwerkarchitektur zu modifizieren, indem es sich ausschließlich auf Änderungen der dimensionalen Konfiguration verließ.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DiM eine vereinheitlichte Modellierungsperspektive bietet, welche die Lücke zwischen disparaten Watermarking-Aufgaben schließt. Indem sie Watermarking als dimensionsbewusstes Abbildungsproblem behandeln, argumentieren die Autoren, dass:

Die funktionale Diversität des Watermarking (von einfacher Urheberrechtsprüfung bis hin zu komplexer spatiotemporaler Lokalisierung) systematisch durch dimensionale Konfigurationen verstanden und gesteuert werden kann.
Aktuelle Video-Watermarking-Designs durch ihre Abhängigkeit von 1D-globalen Nachrichten limitiert sind; die explizite Modellierung räumlicher und temporaler Dimensionen (wie bei DiM-V) füllt kritische Lücken in der Inhaltsauthentifizierung und Integritätsprüfung.
Die Fähigkeit, die temporale Ordnung unter Frame-Disruptionen wiederherzustellen, einen signifikanten Fortschritt für die Video-Integrität darstellt, der über reine Robustheit hinausgeht und hin zur strukturellen Wiederherstellung führt.

Die Autoren positionieren DiM nicht als eine neue aufgabenspezifische Architektur, sondern als ein Framework, das aufzeigt, wie bestehende Methoden vereinheitlicht werden können und wie neue Fähigkeiten durch die Manipulation der Dimensionalität des Payload-Raums abgeleitet werden können.