Loop-Mamba: A Loop Mamba with Degradation-Aware and Shared Memory for Old Photo Restoration

Stel je voor dat je een archeoloog bent, maar in plaats van te graven naar potscherven, ben je een stoffige zolder aan het doorzoeken op zoek naar de trouwfoto's van je overgrootouders. Deze afbeeldingen zijn schatten, die herinneringen vasthouden aan gezichten en plaatsen die lang uit het oog zijn verdwenen. Maar de tijd is een wrede redacteur; het heeft het oppervlak gekrast, de kleuren vervaagd, de emulsie doen barsten en gaten recht door de belangrijkste delen van de foto geslagen. Het repareren van deze foto's gaat niet alleen over het weer "mooi" maken; het gaat over het reconstrueren van een gebroken verhaal zonder nieuwe hoofdstukken te verzinnen die nooit hebben bestaan. Dit is de uitdaging van restauratie van oude foto's.

Lange tijd probeerden computers deze foto's te repareren door naar de hele foto in één keer te kijken en te raden wat de ontbrekende delen zouden moeten zijn, een beetje alsof je probeert een enorme legpuzzel op te lossen door de vorm van elk stukje in één keer te raden. Maar oude foto's zijn rommelig; ze hebben verschillende soorten schade op verschillende plekken. Sommige delen zijn gewoon wazig, terwijl andere kapot gescheurd zijn. Om dit te repareren, zijn wetenschappers begonnen met het gebruik van State Space Models (SSM's). Denk aan deze als een super slimme, efficiënte manier voor een computer om te onthouden wat hij tot nu toe heeft gezien terwijl hij zich over een afbeelding beweegt, in plaats van te proberen de hele afbeelding in één keer te onthouden. Het is als het lezen van een boek pagina voor pagina, waarbij je het plot onthoudt en je geheugen gebruikt om de volgende pagina te begrijpen, in plaats van te proberen het hele boek in één hap door te slikken. Dit artikel duikt in hoe we deze slimme geheugensystemen kunnen gebruiken om onze meest kostbare, beschadigde herinneringen zorgvuldig te herstellen.

Het Papier: Loop-Mamba

De onderzoekers achter dit papier, onder leiding van Runci Bai en collega's, hebben een nieuwe tool gebouwd genaamd Loop-Mamba. Ze realiseerden zich dat de oude manier van foto's repareren — het proberen te reconstrueren van de hele afbeelding in één grote, rommelige sprong — niet goed genoeg werkte voor de complexe, meerlagige schade die te vinden is in vintage foto's. In plaats daarvan besloten ze de restauratie te behandelen als een progressieve loop, een beetje zoals een beeldhouwer die een blok steen wegkapt, de vorm telkens een klein beetje verfijnt totdat het standbeeld tevoorschijn komt.

Het probleem met "One-Shot" fixes
De meeste eerdere methoden probeerden een foto in één passage te repareren. De auteurs stellen dat dit is alsof je probeert een gebarsten vaas in één keer te lijmen zonder te controleren waar de scheuren het diepst zijn. Oude foto's lijden aan "heterogene degradaties", wat een chique manier is om te zeggen dat de schade overal anders is en er op elke plek anders uitziet. Sommige gebieden zijn gewoon stoffig, terwijl andere gescheurd zijn. Als je de hele foto op dezelfde manier behandelt, ben je misschien de schone delen aan het over-repareren en de kapotte delen aan het onder-repareren.

De Loop-Mamba oplossing
Loop-Mamba verandert het spel door restauratie te veranderen in een proces van state evolution (toestandsontwikkeling). Stel je een team van restaurateurs voor dat aan een foto werkt in een loop. In plaats van elke keer vanaf nul te beginnen, geven ze een "restauratie-toestand" (een mentale kaart van hoe de foto eruit zou moeten zien) door van de ene ronde naar de volgende.

Zo laten ze het werken, met drie slimme trucs:

1. De "Schadedetectief" (Semantic-Guided Degradation Estimator): Voordat het team begint met repareren, moeten ze precies weten waar de problemen zitten. Loop-Mamba gebruikt een speciale module genaamd SGDE om als een detective te fungeren. Het raadt niet alleen; het maakt een gedetailleerde kaart die precies laat zien hoe erg de schade is in elke enkele pixel (lokale schade) en geeft een score voor hoe moeilijk de hele foto te repareren is (globale score). Deze kaart vertelt de rest van het systeem: "Hé, deze hoek is gescheurd, dus concentreer je energie daar," wat ervoor zorgt dat de computer precies weet waar hij voorzichtig moet zijn.

2. De "Gedeelde Geheugenbank" (Shared Structural Memory Mamba): Dit is het hart van de loop. Bij veel oude methoden vergeet de computer wat hij in de vorige stap heeft gerepareerd en probeert hij het opnieuw op te bouwen, wat kan leiden tot verwarring of wazige resultaten. Loop-Mamba gebruikt een Shared Structural Memory (S2M). Denk aan dit als een gedeeld notitieblok dat het team rondgeeft. Elke keer als ze een kleine verbetering aanbrengen, schrijven ze het in het notitieboek. De volgende ronde werk begint niet vanaf nul; het pakt het notitieboek erbij, leest wat er al is gerepareerd, en bouwt daarop voort. Dit zorgt ervoor dat de structuur van de foto (zoals de lijnen van een gezicht of een gebouw) consistent blijft en niet verloren gaat tijdens het proces.

3. De "Multi-Directionale Scan": Om er zeker van te zijn dat ze geen details missen, scant het systeem de foto in meerdere richtingen tegelijk. Het is also wordt er tegelijkertijd van links, rechts, boven en onder naar een schilderij gekeken om elke barst te vangen. Dit helpt het systeem om de punten over lange afstanden in de afbeelding te verbinden, zodat een lijn die in het midden gebroken was, correct wordt verbonden met de uiteinden.

De Resultaten: Sneller, Slimmer en Nauwkeuriger
Het team heeft Loop-Mamba getest op een publieke benchmark genaamd SynOld, die 700 paren beschadigde en schone foto's bevat. De resultaten waren indrukwekkend. Loop-Mamba zag er niet alleen goed uit; het was ongelooflijk efficiënt.

• Snelheid: Het draaide op 1.86 FPS (frames per seconde) op high-definition 108ing 1080P-afbeeldingen, wat veel sneller is dan veel andere complexe methoden.
• Efficiëntie: Het gebruikte slechts 119 G FLOPs (een maatstaf voor computationele arbeid) en 59 G MACs, wat aanzienlijk minder is dan de zware methoden die vaak enorme computers vereisen om te draaien.
• Kwaliteit: Het behaalde een topscore van 30.13 PSNR en 0.93 SSIM, waarmee het voorgaande topmethoden versloeg.

Maar de auteurs stopten niet bij standaard statistieken. Ze realiseerden zich dat standaardtests niet volledig konden vatten hoe goed de "schade" daadwerkelijk werd verwijderd versus hoe "mooi" de afbeelding eruit zag. Daarom hebben ze een nieuwe score uitgevonden genaamd de Old Photo Damage Recovery Score (ODRS). Deze score meet specifiek hoe goed het systeem de beschadigde delen heeft hersteld en hoe getrouw het de structuur heeft gereconstrueerd. Loop-Mamba scoorde 0.9495 op deze nieuwe metriek, wat bewees dat het echt de schade aan het repareren was, en niet alleen eroverheen aan het schilderen.

Waarom dit ertoe doet
Het papier suggereert dat door restauratie te behandelen als een continue loop van toestandupdates in plaats van een enkele, zware reconstructie, we oude foto's met veel minder rekenkracht en betere nauwkeurigheid kunnen repareren. Ze ontdekten dat het draaien van de loop 3 keer het ideale punt was; het vaker doen hielp niet veel en vertraagde de boel zelfs.

Ze toonden ook aan dat dit systeem licht genoeg is om op een smartphone te draaien (specifiek een Mi 10 Lite Zoom), wat betekent dat je potentieel de oude foto's van je familie direct op je telefoon kunt repareren zonder een supercomputer nodig te hebben. De auteurs concluderen dat deze aanpak van "progressieve state evolution" een krachtige nieuwe manier is om de rommelige, complexe realiteit van oude foto's aan te pakken, en een pad biedt om onze visuele geschiedenis met meer helderheid en minder inspanning te bewaren.