Technische Samenvatting: Benutten van Multimodale Grootte Taalmodellen voor Alles-in-Één Beeldherstel via een Mengsel van Frequentie-experts

Probleemstelling

Alles-in-één beeldherstel heeft tot doel schone afbeeldingen te herstellen uit invoer die is beïnvloed door diverse en onbekende degradaties, gebruikmakend van een unificerend raamwerk. Hoewel recente methoden de prestaties hebben verbeterd door degradatiekenmerken te identificeren, behandelen ze degradaties vaak als discrete categorieën. Deze aanpak faalt in het modelleren van de continue relationele structuur die inherent is aan samengestelde degradaties (bijvoorbeeld een afbeelding met gelijktijdig slecht licht, mist en regen waarbij één degradatie dominant is). Bestaande degradatie-gevoelige representaties, die vaak worden aangeleerd via contrastieve doelen, neigen degradatietypes te partitioneren in geïsoleerde clusters, waardoor het continue spectrum van gemengde degradaties wordt genegeerd. Bovendien vertrouwen huidige benaderingen die Multimodale Grootte Taalmodellen (MLLM's) benutten, vaak uitsluitend op hoog-niveau tekstuele representaties, waardoor de rijke interne visuele kennis die in deze modellen is gecodeerd, onvoldoende wordt benut; dit creëert een representatiekloof voor fijnmazige, pixel-level reconstructie.

Methodologie

De auteurs stellen MMFE-IR voor, een raamwerk dat een voorgetraind Multimodaal Grootte Taalmodel (specifiek Qwen2.5-VL) integreert met een laag-niveau beeldherstelnetwerk. De architectuur bestaat uit drie primaire componenten:

1. MLLM-geleid Fusieblok (MGFB)

Om de kloof tussen hoog-niveau semantische kennis en laag-niveau herstel te overbruggen, injecteert het raamwerk MLLM-afgeleide kenmerken in een encoder-decoder-ruggengraat (gebaseerd op Restormer). De MGFB maakt gebruik van een cross-attention-mechanisme om specifieke MLLM-embeddings toe te wijzen aan verschillende netwerkniveaus:

• Encoder: Ontvangt $E_{Image}$, een gecontextualiseerde, uit visuele data afgeleide embedding die is gepooled van de MLLM's beeldtokens. Dit versterkt de extractie van structurele kenmerken.
• Decoder: Ontvangt $E_{Joint}$, visueel-taal-geconditioneerde embeddings die zijn gepooled van alle tokens. Dit faciliteert degradatie-bewuste reconstructie door semantische context te integreren.
  De fusie wordt bereikt via een residuale verbinding waarbij de visuele kenmerkkaart dient als query en de MLLM-embeddings dienen als sleutels en waarden.

2. Mengsel van Frequentie-experts (MoFE)

Omdat verschillende degradaties distincte frequentiekenmerken vertonen, introduceren de auteurs een MoFE-module die werkt in het frequentiedomein in plaats van het ruimtelijke domein.

• Frequentiedecompositie: De originele gedegradeerde afbeelding wordt met behulp van Discrete Wavelet-transformatie (DWT) ontbonden in subbands. Het laagfrequente component ($LL$) wordt uitgesloten, aangezien dit inherent wordt vastgelegd door self-attention-mechanismen in Transformers. De overige hoogfrequente subbands ($LH, HL, HH$) worden verwerkt.
• Expert-routing: Een set lichtgewicht convolutie-experts ($N=8$) verwerkt deze hoogfrequente componenten. Een router, geleid door de hoog-niveau tekstuele embedding van de MLLM ($E_{Answer}$), voorspelt mengingsgewichten voor deze experts. Dit maakt dynamische compositie mogelijk om diverse degradaties aan te pakken.
• Fusie: De geaggregeerde frequentiekenmerken worden teruggevoegd in de ruimtelijke kenmerken met behulp van Multi-Dconv Head Transposed Attention (MDTA), waardoor ruimtelijke kenmerken adaptief de benodigde hoogfrequente details kunnen bevragen.

3. MLLM-geleide Routeroptimalisatie

Om ervoor te zorgen dat de router de continue semantische relaties van degradaties die door de MLLM worden vastgelegd, behoudt, wordt een specifieke verliesfunctie geïntroduceerd.

• Relationele Alignementverlies ($\mathcal{L}_{MGL}$): Dit verlies berekent de paarsgewijze cosinus-similariteit van de hoog-niveau embeddings van de MLLM en aligneert deze met de paarsgewijze similariteit van de uitvoergewichten van de router. Dit moedigt de router aan om vergelijkbare expertcombinaties toe te wijzen aan semantisch vergelijkbare degradaties en distincte combinaties aan verschillende degradaties, waardoor de continue structuur van de embeddingruimte wordt behouden.
• Trainingsstrategie: Het model hanteert een progressieve multi-schaal trainingsstrategie, waarbij de invoeroplossing geleidelijk wordt verhoogd om de routeroptimalisatie te stabiliseren en de robuustheid over variërende afbeeldingsgroottes te verbeteren.

Belangrijkste Bijdragen

1. Continue Degradatiemodellering: Het raamwerk maakt gebruik van continue degradatie-embeddings van voorgetrainde MLLM's om de beperkingen van rigide prompt-discretisatie te overwinnen, waardoor een nauwkeurigere vastlegging van complexe degradatiestructuren mogelijk wordt.
2. MGFB-integratie: Een MLLM-geleid fusieblok wordt geïntroduceerd om de representatiekloof te overbruggen door zowel MLLM-visuele embeddings als visueel-taal-geconditioneerde embeddings direct te integreren in de encoder en decoder van het herstelnetwerk.
3. Expert-routing in het frequentiedomein: Een Mengsel-van-Frequentie-experts (MoFE)-module wordt voorgesteld, waarbij gebruik wordt gemaakt van een MLLM-geleide router die is getraind met een relationeel alignementverlies. Dit stelt het model in staat om gedistribueerde degradatierelaties te leren en frequentie-experts adaptief te combineren voor diverse en samengestelde degradaties.

Experimentele Resultaten

De methode werd geëvalueerd op meerdere benchmarks, waaronder de uitdagende CDD11-dataset voor samengestelde degradaties en standaard alles-in-één instellingen voor enkele degradaties.

• Samengestelde Degradatie (CDD11): De voorgestelde methode behaalde state-of-the-art prestaties, en presteerde tot 1,35 dB beter dan eerdere methoden op de CDD11-dataset. Het toonde superieure robuustheid in dubbele (bijvoorbeeld Slecht licht + Mist) en driedubbele (bijvoorbeeld Slecht licht + Mist + Regen) degradatiescenario's, met een gemiddelde PSNR van 30,40 dB en een SSIM van 0,889.
• Alles-in-één Benchmarks: De methode behaalde de hoogste gemiddelde PSNR (31,44 dB) op de instelling met vijf degradaties en 32,94 dB op de instelling met drie degradaties. Het toonde bijzondere kracht in zowel laagfrequente taken (mistverwijdering) als hoogfrequente taken (ontwarring).
• Ablatiestudies: Experimenten bevestigden dat:
  • Het gebruik van $E_{Image}$ voor de encoder en $E_{Joint}$ voor de decoder optimale prestaties oplevert.
  • De MoFE-module de prestaties aanzienlijk verbetert (+1,02 dB ten opzichte van de baseline) met een minimale toename van parameters.
  • De MLLM-geleide loss en progressieve multi-schaal training cruciaal zijn voor prestatiewinst.
  • Frequentiedomein-MoE presteert beter dan ruimtelijk domein-MoE.
  • Het raamwerk robuust blijft zelfs bij gebruik van kleinere MLLM's (bijvoorbeeld FastVLM-0.5B), hoewel de grootste MLLM (Qwen2.5-VL-3B) de beste balans biedt tussen kwaliteit en latentie.

Betekenis en Claims

Het artikel beweert dat MMFE-IR een nieuwe state of the art vestigt in alles-in-één beeldherstel, met name voor complexe, samengestelde degradaties. De betekenis van het werk ligt in de succesvolle uitbreiding van MLLM-gidsing voorbij louter tekstuele representaties om interne visuele kenmerken en expert-routing in het frequentiedomein te omvatten. Door de continue semantische relaties van degradaties te behouden via de MLLM-geleide router en loss, mitigeert het raamwerk effectief de representatiekloof die vaak wordt aangetroffen in visuele taken op laag niveau. De auteurs stellen dat deze aanpak het model in staat stelt om het coëxistentie en de interactie van meerdere degradaties nauwkeuriger te behandelen dan methoden die degradaties behandelen als discrete, geïsoleerde categorieën.