Uni-ISP: Toward Unifying the Learning of ISPs from Multiple Mobile Cameras

Dit paper introduceert Uni-ISP, een nieuw systeem dat het leren van beeldverwerking (ISP) voor diverse mobiele camera's verenigt door apparaatbewuste embeddings te gebruiken, wat leidt tot verbeterde prestaties en nieuwe toepassingen, ondersteund door een nieuw realistisch 4K-dataset genaamd FiveCam.

De kern

Stel je voor dat elke smartphone-camera een eigen "fotograaf" is. Een Apple-camera denkt dat een foto er het mooist uitziet als hij scherp en helder is. Een Samsung-camera vindt dat een foto juist mooi is met diepe schaduwen en warme kleuren. Een Xiaomi-camera heeft weer zijn eigen unieke stijl.

Tot nu toe was het zo dat als je een slimme computer (een AI) wilde leren hoe je foto's van die specifieke camera's moet maken of verbeteren, je voor elke camera een aparte AI moest bouwen. Dat is als een bakker die voor elke klant een heel nieuw recept moet uitvinden, in plaats van één basisrecept te hebben dat je met een klein tweakje aanpast. Dit is duur, traag en werkt niet goed als je een nieuwe camera koopt waar de AI nog nooit van gehoord heeft.

Uni-ISP is de oplossing die de auteurs van dit papier hebben bedacht. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Meester-Bakker" met Magische Hoeden

In plaats van één AI per camera, hebben ze één Uni-ISP gemaakt. Denk aan dit als een super-getalenteerde meester-bakker.

• De Basis: Deze bakker kent de basisrecepten voor brood (de algemene regels van hoe licht en kleur werken).
• De Hoeden: Wat Uni-ISP uniek maakt, is dat deze bakker een kast vol met magische hoeden heeft. Elke hoed staat voor een ander camera-merk (een Apple-hoed, een Samsung-hoed, etc.).
• Hoe het werkt: Als je de bakker vraagt om een foto te maken alsof die door een Samsung is genomen, zet hij de "Samsung-hoed" op. Zijn basisvaardigheden blijven hetzelfde, maar de hoed vertelt hem precies welke "stijl" hij moet toepassen. Wil je een Apple-foto? Dan wisselt hij simpelweg van hoed.

Dit betekent dat de AI niet alleen de basis van fotograferen leert, maar ook precies begrijpt wat elke camera anders doet, zonder dat je voor elke camera een nieuwe bakker hoeft aan te stellen.

2. Het Grote Probleem: De "Vervormde Spiegel"

Er was een groot obstakel. Om deze AI te leren, moesten ze foto's maken met vijf verschillende telefoons tegelijk. Maar als je vijf telefoons naast elkaar houdt en een foto maakt, staan ze net iets anders. Als je de foto's van de ene telefoon op de andere probeert te plakken om ze te vergelijken, krijg je een wazig beeld (alsof je een foto door een vervormde spiegel bekijkt).

De auteurs bedachten een slimme truc: ze hebben een "Vervormings-Corrector" (in het paper een 'Frequency Bias Correction') ontwikkeld. Dit is als een bril die je op de wazige foto's zet om ze weer scherp te maken, zodat de AI niet leert om foto's wazig te maken, maar juist scherp en helder.

3. Wat kun je hiermee doen? (De Magische Trucs)

Omdat deze AI zo slim is en alle camera's tegelijk kent, kan hij dingen doen die voorheen onmogelijk waren:

• Stijl-Verhuizing: Je neemt een foto met je oude telefoon, en Uni-ISP kan die foto omtoveren zodat hij eruit ziet alsof hij met een dure, nieuwe camera is genomen. Het is alsof je een foto van je eigen tuin kunt laten "ruiken" als een foto van een tropisch eiland, zonder dat je de tuin verandert.
• De "Mix & Match" Foto: Je kunt een foto maken die half Apple en half Samsung is. Je vraagt de AI: "Geef me een foto die 50% Apple-stijl en 50% Samsung-stijl heeft." De AI vindt een perfect middenpad dat geen enkele echte camera heeft, maar wel prachtig is.
• De "Leugendetector": Omdat de AI precies weet hoe elke camera een foto maakt, kan hij zien of een foto nep is. Als iemand een object in een foto plakt (bijvoorbeeld een prullenbak in een park), ziet de AI direct: "Hé, dit stukje foto heeft de 'stijl' van de camera niet! Het is nep!" Dit werkt zelfs als de AI nooit eerder die specifieke nep-foto heeft gezien.

4. De Nieuwe "Foto-Bibliotheek"

Om dit allemaal mogelijk te maken, hebben de onderzoekers zelf een enorme nieuwe verzameling foto's gemaakt, genaamd FiveCam. Ze hebben vijf verschillende smartphones tegelijk laten fotograferen in duizenden situaties (van zonsopgang tot nachtelijke stadsgezichten). Dit is als het bouwen van een bibliotheek waar je in één keer kunt zien hoe vijf verschillende schrijvers over exact hetzelfde onderwerp schrijven.

Samenvatting

Kortom: Uni-ISP is een slimme, universele fotomachine die niet meer voor elke camera een nieuw brein nodig heeft. Het is één brein dat alle stijlen kent, foto's kan omzetten van "ruw" naar "fijn" en vice versa, en zelfs nep-foto's kan opsporen. Het maakt fotobewerking flexibeler, slimmer en klaar voor de toekomst, waar je misschien wel 50 verschillende camera's in je zak hebt.

Technische samenvatting

Probleemstelling

Moderne end-to-end Image Signal Processors (ISPs) die op neurale netwerken zijn gebaseerd, hebben de mogelijkheid om complexe mappingen te leren van RAW/XYZ-gegevens naar sRGB (en omgekeerd). Echter, de huidige aanpak heeft twee fundamentele beperkingen:

1. Gebrek aan veelzijdigheid: Bestaande methoden trainen doorgaans een apart ISP-model voor elk specifiek camera-model. Dit leidt tot een gebrek aan schaalbaarheid en aanpassingsvermogen naarmate het aantal mobiele camera-modellen groeit.
2. Gebrek aan synergie: Door modellen per camera te trainen, gaan de onderliggende gemeenschappelijkheden en verschillen tussen verschillende camera-systemen verloren. Dit beperkt de prestaties en verhindert nieuwe toepassingen zoals het overdragen van fotografische stijlen tussen camera's.
3. Data-tekort: Er ontbreekt een dataset met gesynchroniseerde sRGB-RAW-paren van meer dan drie verschillende camera's, wat essentieel is voor het trainen van een unificerend model.

Methodologie: Uni-ISP

De auteurs stellen Uni-ISP voor, een unificerend framework dat de leerprocessen van ISPs van meerdere mobiele camera's tegelijkertijd aanpakt.

1. Architectuur:
Het model bestaat uit twee hoofdmodules die dezelfde encoder-decoder structuur delen:

• Inverse ISP-module ($g$): Converteert sRGB-afbeeldingen terug naar de lineaire XYZ-ruimte (of RAW-domein).
• Forward ISP-module ($h$): Converteert XYZ-afbeeldingen naar sRGB.

De architectuur bevat drie cruciale componenten:

• Local Feature Extraction Blocks (LFEB): Verwerken lokale details via convoluties, activatielagen en attention-mechanismen.
• Global Feature Manipulation Blocks (GFMB): Pas globale aanpassingen toe op basis van EXIF-metadata (zoals belichtingstijd, ISO en diafragma), wat de variatie in globale uitstraling van foto's in dezelfde scène simuleert.
• Device-aware Embedding Interaction Module (DEIM): Dit is het kerninnovatiepunt. Het model gebruikt leerbare device-aware embeddings ($E_a, E_b, ...$) die specifiek zijn voor elk camera-model. Deze embeddings interageren via een cross-attention mechanisme met de bottleneck-features van het netwerk. Hierdoor kan het model zowel de gedeelde eigenschappen van ISPs (via de gedeelde backbone) als de specifieke kenmerken van elk apparaat (via de embeddings) leren.

2. Trainingsstrategie:

• Self-Camera Training: Het model leert de inverse en forward ISP voor elk camera-model afzonderlijk om de prestaties te waarborgen.
• Cross-Camera Training: Om stijltransfer en interpolatie mogelijk te maken, wordt het model getraind om een input van camera A om te zetten naar de output van camera B.
  • Uitdaging: Gesynchroniseerde foto's van verschillende camera's zijn niet perfect pixel-voor-pixel uitgelijnd door perspectiefverschillen.
  • Oplossing: De auteurs gebruiken optische flow (RAFT) voor ruwe uitlijning, maar dit introduceert een frequentie-bias (wazigheid/hoge frequenties gaan verloren). Om dit te corrigeren, introduceren ze een Frequency Bias Correction (FBC) loss. Deze loss bestaat uit een laag-frequentie deel (voor kleur/tonen) en een frequentiedomein-deel (voor scherpte), waardoor het model niet leert om beelden wazig te maken.
• Neutral Rendering Regularization: Een extra term die het model een "neutrale" camera-uitvoering leert wanneer de embedding op nul wordt gezet, wat dient als anker voor gebruikers.

3. Dataset: FiveCam
Om dit te ondersteunen, hebben de auteurs een nieuwe dataset, FiveCam, samengesteld. Deze bevat 2.464 gesynchroniseerde 4K sRGB-RAW-paren, vastgelegd door vijf verschillende smartphones (Apple iPhone 14 Pro Max, Google Pixel 6 Pro, Huawei P40, Samsung Galaxy S20, Xiaomi Mi 12) onder diverse lichtomstandigheden.

Belangrijkste Bijdragen

1. Uni-ISP Framework: Het eerste model dat ISPs van meerdere camera's unificeert door gebruik te maken van device-aware embeddings, waardoor één model meerdere camera's kan bedienen.
2. FiveCam Dataset: Een uniek, gesynchroniseerd dataset met meerdere camera's dat essentieel is voor cross-camera ISP-taken.
3. Nieuwe Toepassingen: Het openen van nieuwe mogelijkheden zoals:
   • Fotografische Stijloverdracht: Het toepassen van de visuele stijl van de ene camera op de foto's van een andere.
   • Inter/Extrapolatie: Het gladde interpoleren of extrapoleren van stijlen tussen camera's (bijv. een mix van 50% Samsung en 50% Xiaomi).
   • Zero-shot Forensics: Broncamera-identificatie en beeld-splitsdetectie zonder specifieke training op deze taken, gebaseerd op de zelfconsistentie van het ISP-gedrag.
4. Frequentie Bias Correctie: Een nieuwe loss-functie die de negatieve effecten van optische flow-uitlijning op de beeldscherpte oplost.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd die de superioriteit van Uni-ISP aantonen:

• ISP Prestaties: Uni-ISP overtreft state-of-the-art methoden (zoals CycleISP, InvISP, ParamISP) significant.
  • Inverse ISP: +2.4 dB PSNR verbetering.
  • Forward ISP: +1.5 dB PSNR verbetering.
  • Zelfs wanneer concurrenten per camera apart worden getraind (5 modellen), presteert het enkele Uni-ISP-model beter.
• Stijloverdracht: In vergelijking met methoden zoals HDRnet en NILUT, behaalt Uni-ISP de beste scores op PSNR en DISTS (perceptuele kwaliteit) voor het overdragen van camera-stijlen.
• Forensische Taken:
  • Broncamera-identificatie: Uni-ISP bereikt een nauwkeurigheid van 81.67% in een zero-shot setting, wat aanzienlijk hoger is dan gespecialiseerde classificatiemodellen (rond 38-43%).
  • Splitsdetectie: Het model kan succesvol gemanipuleerde gebieden in afbeeldingen detecteren door afwijkingen in de ISP-consistentie.
• Few-Shot Learning: Het model kan nieuwe, onbekende camera's leren met slechts een paar trainingsexemplaren door alleen de nieuwe embedding te optimaliseren, terwijl de rest van het model bevroren blijft. Dit overtreft methoden die volledige hertraining vereisen.

Betekenis en Impact

Uni-ISP markeert een verschuiving in computationele fotografie van "één camera, één model" naar een universeel, adaptief ISP-systeem.

• Efficiëntie: Het elimineert de noodzaak om duizenden specifieke ISP-modellen te onderhouden voor elke nieuwe smartphone.
• Creativiteit: Het democratiseert de toegang tot de unieke "look" van dure of specifieke camera's, waardoor gebruikers hun foto's kunnen laten zien alsof ze met een ander apparaat zijn genomen.
• Veiligheid: Het biedt een krachtig, generiek instrument voor beeldforensiek dat geen specifieke training vereist voor nieuwe camera-modellen.
• Toekomstgericht: Het legt de basis voor generieke visuele verwerkingssystemen die kunnen omgaan met de enorme diversiteit aan sensoren en verwerkingsschakels in de moderne wereld.