Supervising the Path to Fine Scales: GalerkinFlow for Scientific-Field and Image Super-Resolution

In de wereld van wetenschappelijke beeldvorming bestaat een hardnekkige uitdaging: hoe de onzichtbare details te zien die verborgen liggen in een wazig, laagresolutie beeld. Dit probleem, bekend als super-resolutie, vraagt computers om fijne texturen en scherpe randen te verzinnen die verloren zijn gegaan toen een signaal werd gedownsampled of door een grove sensor werd vastgelegd. Decennialang hebben onderzoekers dit benaderd door kunstmatige intelligentie te trainen om naar een paar afbeeldingen te kijken — een wazige versie en zijn scherpe, perfecte tegenhanger — en een directe kortste weg te leren van de kwalitatief lage input naar de kwalitatief hoge output. Deze methode werkt goed genoeg, maar behandelt de reis tussen de twee afbeeldingen als een black box. De computer leert de bestemming kennen, maar heeft geen instructies over hoe het beeld gaandeweg geleidelijk scherper zou moeten worden, waardoor het pad tussen de onscherpte en de helderheid onverkend en onbeheerst blijft.

Een onderzoeker aan University College London heeft een andere manier voorgesteld om over deze reis na te denken. In plaats van een wazige afbeelding en zijn scherpe doelwit slechts als twee punten te beschouwen die verbonden moeten worden, realiseerde hij zich dat de ruimte tussen hen gevuld is met een continu spectrum van gedeeltelijk herstelde toestanden. Stel je een enkel paar afbeeldingen niet voor als een start- en finishlijn, maar als een liniaal die elke mogelijke stap daartussen definieert. Door de computer te leren de volgende kleine stap richting helderheid te voorspellen op elk punt langs deze liniaal, creëerde de onderzoeker een systeem dat het gehele proces van restauratie leert, en niet alleen het eindresultaat. Zijn nieuwe methode, genaamd GalerkinFlow, vereist niet dat de computer de natuurkundige vergelijkingen kent die de afbeelding hebben gecreëerd, noch heeft het speciale metadata nodig over hoe de gegevens zijn verzameld. Het leert simpelweg het pad van grof naar fijn te navigeren met behulp van alleen de verstrekte paren voorbeelden.

De kern van deze aanpak is een verschuiving in de manier waarop de computer wordt onderwezen. Bij traditionele methoden krijgt het model een wazige afbeelding te zien en krijgt het de opdracht om de scherpe afbeelding te produceren, waarbij het feedback ontvangt over alleen de uiteindelijke output. De nieuwe methode neemt echter datzelfde paar en verzint een reeks tussenliggende afbeeldingen die halverwege de onscherpte en de scherpte liggen. Op deze willekeurige tussenliggende punten wordt de computer gevraagd de resterende afstand naar de definitieve scherpe afbeelding te voorspellen. Omdat de onderzoeker precies weet hoe de uiteindelijke afbeelding eruitziet, kan hij de exacte "residuele" of het verschil berekenen dat op dat specifieke moment toegevoegd moet worden. Dit verandert een enkel trainingsvoorbeeld in een rijke bron van vele lessen. Het model leert dat of het nu net begint met het verscherpen van de afbeelding of bijna klaar is, de richting die het moet volgen om het doel te bereiken consistent en voorspelbaar blijft.

Om dit werkend te krijgen, bouwde de onderzoeker een neuraal netwerk dat fungeert als een gids langs dit pad. Het combineert lokale kenmerkextractoren, die naar kleine buurten van pixels kijken om texturen te begrijpen, met een globaal mengmechanisme dat begrijpt hoe verre delen van de afbeelding met elkaar samenhangen. Deze architectuur stelt het systeem in staat om afbeeldingen van verschillende formaten en resoluties te verwerken zonder dat het voor elke specifieke schaal opnieuw getraind hoeft te worden. Cruciaal is dat het systeem "vergelijking-agnostisch" is ontworig, wat betekent dat het even goed werkt op afbeeldingen van natuurlijke landschappen als op complexe wetenschappelijke simulaties van vloeistofdynamica of ondergrondse waterstroming. Het hoeft niet de natuurkundige wetten te kennen die het water of de wind beheersen; het hoeft alleen het patroon te begrijpen van hoe de gegevens evolueren van een lage naar een hoge resolutie.

De onderzoeker testte dit idee op twee zeer verschillende soorten gegevens: gesimuleerde stromingen van lucht en water, die worden beheerst door complexe wiskundige wetten, en standaard hoogresolutiefoto's van alledaagse scènes. Op de wetenschappelijke gegevens, die simulaties van vloeistofbeweging en ondergrondse stroming door poreus gesteente omvatten, presteerde de nieuwe methode beter dan alle andere bestaande technieken die niet vertrouwden op het kennen van de onderliggende natuurkundige vergelijkingen. Het verminderde de fout in de gereconstrueerde afbeeldingen met een enorme marge en behaalde resultaten die bijna perfect waren vergeleken met de vorige beste methoden. Bijvoorbeeld, in tests op vloeistofstroming verminderde de nieuwe aanpak de fout met meer dan 98 procent vergeleken met de op één na beste methode bij bepaalde schalen. Dit suggereert dat door het gehele traject van de restauratie te superviseren in plaats van alleen het eindpunt, het model een veel robuustere en nauwkeurigere manier leert om fijne details te herstellen.

De methode bleek ook effectief op natuurlijke foto's, een domein waar het doel vaak is om afbeeldingen er visueel aantrekkelijk uit te laten zien voor het menselijk oog in plaats van wiskundig precies te zijn. In deze tests produceerde het systeem afbeeldingen met een hogere helderheid en structurele nauwkeurigheid dan andere leidende modellen, hoewel het een lichte variatie vertoonde in de manier waarop het de "perceptuele" kwaliteit van de afbeelding afhandelde in vergelijking met gespecialiseerde fotoverbeteringsinstrumenten. Dit geeft aan dat hoewel de methode uitzonderlijk goed is in het herstellen van de werkelijke waarden en vormen binnen een afbeelding, de manier waarop het fijne artistieke texturen weergeeft nog een gebied is waar gespecialiseerde fotomodellen een lichte voorsprong hebben. Echter, het feit dat een enkele aanpak uitblinkt in zowel de rigide precisie van wetenschappelijke gegevens als de genuanceerde eisen van fotografie, is een belangrijke prestatie.

Een belangrijk inzicht uit de studie is dat het pad zelf deterministisch is. In tegen tegenstelling tot sommige generatieve modellen die afbeeldingen creëren door willekeurige ruis toe te voegen en op het beste te hopen, begint dit systeem met een specifieke wazige observatie en volgt het een strikt, berekend traject naar de scherpe versie. De onderzoeker merkte op dat door het model expliciet te trainen om ook de laatste stap van de originele wazige afbeelding naar de scherpe afbeelding uit te voeren, hij kon voorkomen dat het model te veel vertrouwde op de "shortcut" van het hebben gezien van tussenliggende stappen tijdens de training. Dit zorgt ervoor dat wanneer het model in de echte wereld wordt gebruikt, waarbij het alleen de wazige afbeelding heeft om mee te beginnen, het net zo goed presteert als tijdens de trainingsfase.

De resultaten laten zien dat een enkel paar afbeeldingen veel meer informatie bevat dan voorheen werd benut. Door de relatie tussen een wazige afbeelding en zijn scherpe tegenhanger te behandelen als een continue traject, heeft de onderzoeker een nieuw niveau van supervisie ontsloten die de computer door het gehele restauratieproces leidt. Deze aanpak vereist niet dat de computer een natuurkundige of een meteoroloog is; het vereist simpelweg dat de computer de geometrie van het pad tussen het bekende en het onbekende begrijpt. De bevindingen suggereren dat voor veel wetenschappelijke en beeldvormende taken het krachtigste instrument niet een complexere set natuurkundige wetten is, maar een slimmere manier om de reeds beschikbare gegevens te organiseren.