Image Compression Using Novel View Synthesis Priors

Deze paper presenteert een nieuwe beeldcompressietechniek voor onderwaterrobots die gebruikmaakt van gesynthetiseerde nieuwe weergaven en gradiëntafstijging om de beperkte bandbreedte van akoestische communicatie te overwinnen, wat resulteert in superieure compressie en beeldkwaliteit.

De kern

Hoe je een onderwater-ROV een 'geheugen' geeft om beelden te sturen via een trage verbinding

Stel je voor dat je een duikrobot (een ROV) hebt die diep onder water werkt, bijvoorbeeld om een wrak te inspecteren of een koraalrif te bekijken. De robot moet beelden sturen naar een schip aan de oppervlakte zodat de operator kan zien wat er gebeurt.

Het probleem? Onderwater werkt geen wifi of radio. Je bent afhankelijk van geluid (akoestiek) om te communiceren. Dat is als het versturen van een briefje via een heel lang, luidruchtig buisje: het kan, maar de snelheid is verschrikkelijk laag. Je kunt geen grote foto's of video's sturen; het duurt te lang.

De auteurs van dit paper hebben een slimme oplossing bedacht die werkt als een slimme voorspelling. Hier is hoe het werkt, in gewone taal:

1. Het probleem: De "Trage Buis"

Stel je voor dat je een foto van 1000 pixels wilt sturen, maar je mag maar 100 pixels per seconde versturen. Normale compressie (zoals JPEG) helpt een beetje, maar niet genoeg. Je zou de foto in stukjes moeten hakken, wat het beeld onherkenbaar maakt.

2. De oplossing: Een "Geheugen" in de robot

De kern van hun idee is: Waarom sturen we de hele foto, als de operator de foto al bijna kent?

Onderwatermissies gebeuren vaak op dezelfde plekken. Een inspectie van een pijpleiding of een wrak wordt vaak herhaald.

• De Voorbereiding (De "Mapping Run"): Eerst vaart de robot een keer rond en maakt hij heel veel foto's van de omgeving. Deze foto's gebruikt hij om een 3D-model (een soort digitale kopie van de wereld) te bouwen. Dit model slaat hij op in zijn geheugen én op het schip.
• De Actie (De "Inspectie Run"): Als de robot later weer langs diezelfde plek vaart, hoeft hij niet de hele nieuwe foto te sturen. Hij denkt: "Ik weet hoe dit eruit moet zien omdat ik het model heb."

3. De Magie: Het "Gokje" en de "Verschilbrief"

Dit is waar de slimme truc komt:

1. Het Gokje: De robot kijkt waar hij is en vraagt aan zijn 3D-model: "Hoe ziet dit eruit vanuit mijn huidige positie?" Het model "tekent" (rendert) een foto op basis van wat het al weet.
2. De Vergelijking: De robot vergelijkt deze getekende foto met de echte foto die zijn camera maakt.
   • Als de wereld precies hetzelfde is als de vorige keer, is de getekende foto identiek aan de echte foto. Er is niets te sturen!
   • Maar vaak zijn er kleine verschillen: er is een vis voorbijgezwommen, een stukje roest is erbij gekomen, of het licht is net anders.
3. Alleen het Verschil: De robot berekent alleen het verschil tussen de getekende foto en de echte foto. Dit verschil is heel klein (vaak maar een paar pixels).
4. Sturen: Hij stuurt alleen dit kleine verschil, plus een paar getallen die zeggen "waar ik precies was".

De Analogie:
Stel je voor dat je een tekening van je huis aan je vriend moet sturen via een heel trage fax.

• Normaal: Je faxt de hele tekening, lijn voor lijn. Dat duurt uren.
• Deze methode: Je zegt: "Ik heb de tekening van mijn huis al in mijn hoofd (het model). Ik denk dat je hem al kent. Stuur maar alleen de nieuwe details: 'Er staat nu een rode auto voor de deur'."
  Je vriend tekent zijn eigen versie van het huis en plakt de rode auto erop. Klaar! Je hebt maar een paar woorden gestuurd in plaats van een heel plaatje.

4. Waarom is dit zo goed?

De onderzoekers hebben dit getest in een kunstmatige oceaan en met echte onderwaterdata.

• Snelheid: Ze konden tot 140 keer meer beelden sturen dan met normale methoden.
• Kwaliteit: De beelden waren scherp en duidelijk, zelfs als er nieuwe dingen in beeld kwamen (zoals een vis of een nieuw object).
• Robuustheid: Het werkt zelfs als het water troebel is of als er "marine snow" (kleine zwevende deeltjes) in het beeld zit.

5. De "Superkracht" van de robot (iNVS)

Een groot probleem was: wat als de robot zijn positie net iets verkeerd inschat? Dan komt de getekende foto niet precies overeen met de echte foto, en wordt het "verschil" groot (en dus traag om te sturen).

Ze hebben een slim algoritme bedacht (genaamd iNVS) dat als een autocorrectie werkt.

• De robot probeert zijn positie heel snel aan te passen (met wiskunde) totdat de getekende foto perfect overeenkomt met de echte foto.
• Hierdoor blijft het verschil dat hij moet sturen altijd heel klein.

Conclusie

Dit onderzoek laat zien dat je onderwaterbeelden niet hoeft te "knijpen" tot ze onherkenbaar zijn. In plaats daarvan kun je de robot een geheugen geven van de omgeving. Door alleen de nieuwe dingen te sturen die het geheugen niet kent, kunnen we real-time, hoge-kwaliteit video sturen via de trage onderwater-geluidsverbinding.

Het is alsof je een gesprek voert met iemand die je heel goed kent: je hoeft niet alles uit te leggen, je zegt alleen: "Kijk, die nieuwe auto is er!" en dat is genoeg.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Image Compression Using Novel View Synthesis Priors" in het Nederlands.

Probleemstelling

Bij onderwatermissies, zoals inspectie en manipulatie door middel van onbemande voertuigen (ROV's), is real-time visuele feedback cruciaal. Traditionele ROV's zijn vaak aan een kabel (tether) verbonden voor stroom en communicatie, maar kabelloze systemen zijn nodig voor betere beweeglijkheid. De uitdaging ligt in de communicatie:

• Beperkte bandbreedte: Onderwatercommunicatie gebeurt voornamelijk via akoestische signalen, die een lage bandbreedte hebben (vaak slechts enkele tientallen kbps).
• Onvoldoende compressie: Bestaande beeldcompressie-methoden (zoals WebP, JPEG-XL) en zelfs geavanceerde leer-gedreven compressie (learned image compression) zijn niet ontworpen voor deze extreme beperkingen. Een gecomprimeerd beeld is vaak nog te groot om met hoge snelheid te verzenden, wat real-time besturing onmogelijk maakt.
• Gebrek aan trainingsdata: Leer-gedreven methoden vereisen grote, diverse datasets, die in de onderwaterwereld zeldzaam zijn.

Methodologie: NVSPrior en iNVS

De auteurs stellen een nieuw raamwerk voor genaamd NVSPrior, dat gebruikmaakt van Novel View Synthesis (NVS) als "prior" (voorafgaande kennis) om de compressie te verbeteren. Het idee is gebaseerd op het feit dat inspectiemissies vaak op dezelfde locaties worden uitgevoerd, waardoor de omgeving grotendeels statisch en voorspelbaar is.

Het proces verloopt als volgt:

1. Mapping Run (Trainingsfase): Tijdens een eerste verkenning worden beelden verzameld om een specifieke NVS-model (in dit geval 3D Gaussian Splatting of 3DGS) te trainen. Dit model leert de 3D-structuur van de scène. Een kopie van dit model wordt opgeslagen op zowel de ROV als bij de operator aan de oppervlakte.
2. Inspectie Run (Transmissiefase):
   • De ROV neemt een beeld op.
   • In plaats van het volledige beeld te verzenden, schat de ROV de latente representatie (voornamelijk de camera-pose) die nodig is om het 3DGS-model een beeld te laten renderen dat zo dicht mogelijk bij het echte camera-beeld ligt.
   • Het verschil tussen het echte beeld en het gerenderde beeld wordt berekend als een residu-beeld ($I_{diff}$).
   • Omdat de scène grotendeels bekend is, is dit residu-beeld zeer klein en goed te comprimeren met standaard codecs (zoals WebP of JPEG-XL).
   • Er worden slechts twee dingen verzonden: de geoptimaliseerde latente representatie (kleine data) en het gecomprimeerde residu-beeld.

De kerninnovatie: iNVS (inverse NVS)
Een groot probleem bij deze aanpak is dat kleine fouten in de geschatte camera-pose leiden tot grote verschillen in het beeld (artefacten), wat de compressie tenietdoet. Om dit op te lossen introduceren de auteurs iNVS:

• Gradient-based Optimization: iNVS gebruikt een differentieerbare loss-functie om de latente representatie (pose) iteratief te verfijnen via gradient descent.
• Doel: Het minimaliseren van het verschil tussen het gerenderde beeld en het daadwerkelijke camera-beeld.
• Initialisatie: Om snelheid te garanderen, wordt de geoptimaliseerde pose van het vorige frame gebruikt als startpunt voor het huidige frame (tijdcontinuïteit), tenzij dit te groot afwijkt.
• Optimalisatie: De auteurs testen verschillende optimalisatie-algoritmen (Adam, BFGS) en loss-functies (MSE vs. Key-point matching) en kiezen voor BFGS met MSE-loss voor de beste balans tussen snelheid en nauwkeurigheid.

Belangrijkste Bijdragen

1. NVSPrior Framework: Het eerste beeldcompressie-raamwerk dat gebruikmaakt van scene-specifieke prioren uit getrainde NVS-modellen.
2. iNVS Methode: Een gradient-based latente verfijningstechniek die de compressie-efficiëntie aanzienlijk verbetert door de pose nauwkeurig af te stemmen zonder afhankelijk te zijn van 2D-affiene transformaties (die vaak artefacten veroorzaken).
3. Uitgebreide Analyse: Een grondige evaluatie van loss-functies, optimalisatie-algoritmen en initialisatiestrategieën voor verschillende onderwateromstandigheden.
4. Robuustheid: Demonstratie dat de methode werkt in gecontroleerde omgevingen, met nieuwe objecten in de scène, en in realistische, troebele onderwaterdatasets (met "marine snow" en backscatter).

Resultaten

De methode is getest op zowel een gecontroleerd bassin (TCOMS) als openbare real-world datasets (SeaThru-NeRF en Torpedo Boat Wreck).

• Compressie: NVSPrior+iNVS behaalde een compressie-ratio die 2,9 tot 4,7 keer hoger was dan standaard WebP en JPEG-XL, terwijl de beeldkwaliteit (PSNR) hoger bleef.
  • Voorbeeld: Op de T1-dataset was de gemiddelde transmissiegrootte slechts 1,2 kB (tegenover ~3,5 kB voor WebP), wat toestaat om ongeveer 10 frames per seconde te verzenden over een 100 kbps-verbinding.
• Kwaliteit: De methode behaalde de hoogste PSNR-waarden (bijv. 36,15 dB met JPEG-XL als residu-compressor), wat betekent dat de reconstructie scherper en minder vervormd is dan bij klassieke codecs.
• Robuustheid: De methode presteerde goed zelfs bij de aanwezigheid van nieuwe objecten (zoals een veiligheidslijn of een nieuw metaalobject) en in moeilijke omstandigheden met troebel water.
• Vergelijking met Lerende Methodes: Bestaande leer-gedreven codecs (zoals MLIC++) presteerden slecht in deze setting, waarschijnlijk vanwege het gebrek aan grote trainingsdata en de lage resolutie van de invoer. NVSPrior profiteert juist van de specifieke 3D-prior van de locatie.

Betekenis en Toekomst

Dit onderzoek toont aan dat het mogelijk is om real-time, hoogwaardige visuele feedback te bieden over de zeer beperkte bandbreedte van onderwater-akoestische links. Dit is een doorbraak voor kabelloze ROV's, waardoor complexe inspectie- en manipulatie-taken veiliger en efficiënter kunnen worden uitgevoerd.

Beperkingen en Uitdagingen:

• Rekenkracht: De optimalisatiestap (iNVS) is rekentijdintensief (ongeveer 60-300 ms per frame, afhankelijk van de dataset), wat een uitdaging is voor edge-apparaten zoals de Jetson Orin.
• Omgevingsveranderingen: Als de onderwateromgeving te snel verandert (bijv. door snelle mariene groei), wordt de prior verouderd en daalt de compressie-efficiëntie. Frequentere "mapping runs" zijn dan nodig.

Conclusie:
De paper presenteert een veelbelovende oplossing voor een langdurig probleem in de onderwaterrobotica. Door de combinatie van 3D-scène-modellering en gradient-based refinements, overtreft NVSPrior+iNVS zowel traditionele als moderne leer-gedreven compressiemethoden in scenario's met extreme bandbreedtebeperkingen.