NGS-Marker: Robust Native Watermarking for 3D Gaussian Splatting
Dit artikel introduceert NGS-Marker, een nieuw framework voor natieve watermerktechnologie voor 3D Gaussian Splatting dat gebruikmaakt van een gradiëntgebaseerde progressieve injectiestrategie en hybride beschermingsmechanismen om robuuste eigendomsverificatie tegen gedeeltelijke inbreuk te garanderen en decodering vanuit elk lokaal scèneregio mogelijk te maken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van digitale creatie is een nieuwe tool genaamd 3D Gaussian Splatting opgekomen als een krachtige manier om realistische, driedimensionale scènes te bouwen. Stel je een digitaal landschap voor dat niet is gebouwd van solide blokken of gladde oppervlakken, maar van miljoenen kleine, wazige wolken van kleur en licht, die elk onafhankelijk in de ruimte zweven. Deze wolken, bekend als Gaussian-primitives, kunnen worden gerangschikt om alles te vormen, van een drukke straat in een stad tot een stil bos, en ze kunnen vanuit elke hoek met verbazingwekkende helderheid worden bekeken. Omdat deze digitale activa zo gemakkelijk te maken en te delen zijn, vormen ze de ruggengraat van virtual reality, robotica en online content. Echter, dit gebruiksgemak brengt een aanzienlijk probleem met zich mee: hoe bescherm je je werk wanneer iemand simpelweg een enkele boom of personage uit je scène kan plukken en zonder toestemming in zijn eigen scène kan plakken?
Jarenlang was de standaardmanier om digitale afbeeldingen te beschermen het verbergen van een geheime code, of watermerk, binnen de afbeelding zelf. Deze code is onzichtbaar voor het menselijk oog, maar kan door een computer worden gelezen om eigendom te bewijdigen. Onderzoekers hebben geprobeerd hetzelfde idee aan te passen aan 3D-scènes, maar zij hebben het toegepast op de uiteindelijke afbeelding die je op je scherm ziet, in plaats van op de 3D-wolken die de scène vormen. Deze benadering werkt goed wanneer de hele scène wordt gebruikt, maar faalt volledig wanneer een dief slechts een deel ervan steelt. Als een tegenstander een paar honderd van die zwevende wolken uit een beschermd bos pakt en deze in een nieuwe, ongeautoriseerde scène plaatst, kunnen de oude beschermingsmethoden de geheime code niet vinden. De code was verborgen in de relatie tussen de hele scène en de uiteindelijke afbeelding, en zodra de scène wordt opgedeeld, gaat die relatie verloren.
Een team van onderzoekers aan de Zhejiang University heeft deze specifieke kwetsbaarheid geïdentificeerd, die zij "partiële inbreuk" noemen, en heeft een nieuw systeem ontwikkeld om dit op te lossen. Ze creëerden een tool genaamd NGS-Marker, die de strategie volledig verandert. In plaats van een bericht in de uiteindelijke afbeelding te verbergen, verbergen zij het direct in de kleine, zwevende wolken zelf. Dit betekent dat zelfs als iemand slechts een kleine cluster van deze wolken steelt, de geheime code met hen mee reist. De onderzoekers hebben een systeem gebouwd dat een unieke identiteit in elke lokale groep van deze 3D-wolken kan schrijven en die identiteit vervolgens weer kan uitlezen, ongeacht waar die wolken terechtkomen of hoe de scène wordt herschikt.
De kern van hun ontdekking is een tweestaps-proces dat werkt als een slot en een sleutel, maar dan voor 3D-data. Eerst trainden ze een computerprogramma om als schrijver te fungeren. Dit programma kijkt naar een kleine, willekeurige selectie van de zwevende wolken en maakt minuscule, bijna onzichtbare aanpassingen aan hun positie en kleur. Deze aanpassingen zijn zo subtiel dat het menselijk oog geen enkel verschil ziet in de uiteindelijke afbeelding, maar ze zijn precies genoeg om een specifieke boodschap te coderen, zoals een reeks cijfers die de naam van de eigenaar vertegenwoordigt. Ten tweede trainden ze een apart programma om als lezer te fungeren. Deze lezer kan naar elke groep wolken kijken, zelfs een klein handjevol dat uit een veel grotere scène is genomen, en de verborgen boodschap decoderen. Omdat de boodschap direct in de eigenschappen van de wolken is ingebed, maakt het niet uit of de rest van de scène ontbreekt of dat de wolken naar een compleet andere locatie zijn verplaatst.
Om te testen of deze methode daadwerkelijk werkt, simuleerden de onderzoekers een diefscenariov. Ze namen een beschermde 3D-scène, extraheerden een deelverzameling van de wolken en voegden deze toe aan een nieuwe, ongeautoriseerde scène. Wanneer zij de oude, traditionele methoden probeerden te gebruiken om de eigenaar te vinden, faalden de systemen volledig en gokten ze de juiste eigenaar slechts ongeveer de helft van de tijd, wat niet beter is dan een willekeurige gok. In contrast hiermee identificeerde het nieuwe systeem de eigenaar met meer dan 95 procent nauwkeurigheid, zelfs wanneer de gestolen wolken werden gemengd met andere ongerelateerde wolken. De onderzoekers ontdekten ook dat het systeem effectief blijft, zelfs wanneer de wolken worden onderworpen aan veelvoorkomende vervormingen, zoals het roteren, schalen of het verwijderen van enkele buren.
Een van de meest significante bevindingen is dat deze nieuwe methode niet vereist dat de 3D-scène wordt gerenderd naar een platte afbeelding om gecontroleerd te worden. In het verleden moest je een foto van de 3D-wereld maken om te zien of deze beschermd was. Nu kan de eigendomscontrole rechtstreeks op de 3D-data zelf plaatsvinden. Dit maakt een veel flexibelere vorm van bescherming mogelijk. De onderzoekers hebben aangetoond dat het systeem niet alleen eenvoudige tekstberichten kan verbergen, maar ook kan worden aangepast om afbeeldingen te verbergen, waardoor een eigenaar een visueel logo direct in de 3D-structuur kan inbedden. Bovendien kan het nieuwe systeem naast de oudere methoden werken, wat een dubbele laag beveiliging biedt die zowel de 3D-wolken als de door hen geproduceerde uiteindelijke afbeeldingen beschermt.
De onderzoekers erkennen dat hoewel hun systeem robuust is, het niet zonder beperkingen is. Het proces van het schrijven van het watermerk in een grote scène kost tijd, waarbij de duur toeneemt naarmate het aantal wolken groeit. Voor een scène met bijna 600.000 wolken duurde het proces ongeveer 35 minuten op een krachtige computer. Echter, de tijd die nodig is is een eenmalige kostenpost voor de maker, en de resulterende bescherming biedt een niveau van beveiliging dat voorheen onmogelijk was. De studie bevestigt dat door de bescherming van de uiteindelijke afbeelding terug te brengen naar de fundamentele bouwstenen van de 3D-wereld, het mogelijk is om een systeem te creëren dat de fragmentatie van digitale activa overleeft. Deze benadering biedt een praktisch pad voornaar makers die hun werk moeten beschermen in een tijdperk waarin digitale content gemakkelijk gekopieerd, gewijzigd en gereassembleerd kan worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.