AbsoluteDegradation: A Physics-Inspired Synthetic Film-Degradation Pipeline and Archival Film Restoration Benchmark

Technische Samenvatting: AbsoluteDegradation

Probleemstelling
De restauratie van archieffilm wordt gehinderd door twee fundamentele uitdagingen. Ten eerste dwingt het ontbreken van gepaarde trainingsdata (onbeschadigde grondwaarheid versus gedegradeerde beelden) bij supervised learning om te vertrouwen op synthetische benaderingen. Bestaande degradatiemodellen behandelen artefacten vaak als onafhankelijke beelddomein-perturbaties, waardoor ze de complexe, temporeel coherente en natuurkundig gefundeerde aard van echte filmbederf (bijv. signaalafhankelijke korrel, gate-weave jitter en fluctuaties in belichting) niet kunnen vatten. Ten tweede is er een gebrek aan hoogwaardige, gestandaardiseerde evaluatiebenchmarks. Bestaande datasets zijn vaak beperkt in schaal, mengen animatie met archiefbeelden, of bevatten niet-analoge artefacten (zoals watermerken), wat betrouwbare vergelijking en evaluatie bemoeilijkt.

Methodologie: De AbsoluteDegradation Pipeline
De auteurs stellen AbsoluteDegradation voor, een modulaire, natuurkundig geïnspireerde synthese-pipeline die schone videoclips transformeert naar realistisch gedegradeerde tegenhangers. De pipeline modelleert het analoge-naar-digitale proces als een gestructureerde compositie van artefactfamilies, gestuurd door drie principes: natuurkundig geïnspireerd modelleren, temporele coherentie en compositionele diversiteit.

De pipeline werkt via zes opeenvolgende stadia:

1. Frame Crop met Motion Padding: Creëert een buffer voor daaropvolgende geometrische transformaties, wat zorgt voor ruimtelijke uitlijning met de grondwaarheid.
2. Dust and Texture Overlays: Simuleert emulsievlekken en projectiemerken met behulp van een multi-slot persistentiemodel waarbij contaminanten een willekeurige levensduur hebben, wat netwerken stimuleert om temporele informatie te gebruiken.
3. Negative-Film Emulation: Modelleert de chemische realiteit van analoge opname door degradaties (onscherpte, korrel, downsampling, gamma) toe te passen in het geïnverteerde domein (het simuleren van het negatief) voordat er wordt terug-geïnverteerd.
4. Permuted Degradation Core: Componeert zeven operatoren—blur, grain, JPEG, resolutieverandering, gamma, en horizontale/verticale gate-weave—in een willekeurige volgorde ($7! = 5.040$ permutaties) per clip.
   • Signal-Dependent Grain: Vervangt standaard witte Gaussische ruis door een Signal-Dependent Noise (SDN) formulering met een blue-noise prior om de gestructureerde, hoogfrequente spectrale eigenschappen van zilverhalogenide filmkorrel na te bootsen.
   • Camera Gate Weave: Modelleert mechanische imperfecties in het filmtransport met behulp van Ornstein-Uhlenbeck (OU) processen. Horizontale beweging gebruikt een eerste-orde OU-proces, terwijl verticale beweging een tweede-orde proces gebruikt om de tijdvariërende gemiddelde-reversie-sterkte te modelleren.
5. Finalization: Herstelt de ruimtelijke resolutie, past milde fotometrische jitter toe en kwantiseert naar 8-bit om overeen te komen met de precisie van echte digitalisering.
6. Mechanical Scratches: Rendert persistente verticale strepen met behulp van een sinc²–Gaussian hybride kernel om Fraunhofer-diffractie te benaderen, inclusief intensiteitsflikkering en longitudinale breedtevariatie.

Belangrijkste Bijdragen

1. AbsoluteDegradation Synthese-engine: Een framework dat de complexe temporele en ruimtelijke afhankelijkheden van authentiek filmbederf vangt, inclusief signaalafhankelijke korrel, parametrische krassen en temporeel coherente camerabeweging. Het adresseert de beperkingen van eerdere werken door de gelaagde verwerkingsstructuur van analoge-naar-digitale pipelines te modelleren en gebruik te maken van natuurkundig gefundeerde stochastische processen.
2. Grootschalige Real-World Archival Benchmark: Een gecureerde dataset van 81.576 hoogresolutie, verliesloze frames afkomstig van 30 publiek domein films (1896–1918) uit de Library of Congress. In tegenstelling tot eerdere benchmarks richt deze zich uitsluitend op echte analoge degradaties, vermijdt het gemengde content (bijv. animatie) en biedt het strikte condities voor zero-shot evaluatie.

Resultaten
Uitgebreide experimenten over vier architecturen (RTN, MambaOFR, BasicVSR++, RVRT) op zowel de voorgestelde benchmark als de SRWOV dataset tonen aan:

• Verbeterde Generalisatie: Modellen getraind met AbsoluteDegradation generaliseren beter naar echte archiefbeelden dan modellen getraind op de "Bringing Old Films" baseline.
• Benchmark Inzichten: De nieuwe benchmark onthult systematische foutmodi in huidige methoden. Standaard no-reference metrieken (bijv. BRISQUE) bleken onbetrouwbaar te zijn; ze belonen soms "historisch onauthentieke hallucinaties" en overmatige afvlakking (over-smoothing).
• Kwalitatieve Superioriteit: De voorgestelde pipeline stuurt netwerken aan om authentieke, artefactvrije restauraties te produceren. In contrast hiermee neigen baselines die steunen op Gaussische ruis naar het overmatig afvlakken van fijne texturen en het kunstmatig verscherpen van artefacten (zoals krassen), wat resulteert in flikkerende randen. De signaalafhankelijke blue-noise benadering behoudt de structurele integriteit en fijne details (bijv. plooien in stof, ster emblemen) die door Gaussian-gebaseerde modellen worden gewist.
• Ablatie-studies: Het verwijderen van temporele coherentie of het uitsluitend vertrouwen op Gaussische ruis leidde tot hogere metriekscores, maar visueel verslechterde de beeldkwaliteit, wat bevestigt dat huidige metrieken niet noodzakelijkerwijs uitgelijnd zijn met werkelijke restauratiedoelen.

Betekenis
Het artikel claimt een fundament te leggen voor reproduceerbare en domein-authentieke evaluatie in de restauratie van archieffilms. Door de kloof tussen synthetische trainingsdata en de echte fysica te overbruggen, stelt AbsoluteDegradation modellen in staat om de training van modellen te prioriteren die historische integriteit boven kunstmatige scherpte stellen. Het werk benadrukt dat misalignerde evaluatieproxies het werkelijke voortgang in het veld gedeeltelijk hebben vertroebeld en pleit voor de noodzaak van natuurkundig geïnspireerde datasynthese en representatieve benchmarks om hoogwaardige, hoogwaardige preservatie van audiovisueel erfgoed op schaal te bereiken.