CLEAR: Unlocking Generative Potential for Degraded Image Understanding in Unified Multimodal Models

Probleemstelling

In real-world scenario's (zoals autonoom rijden, bewaking en mobiele fotografie) zijn beelden vaak aangetast door degradaties zoals wazigheid (blur), ruis, compressie-artefacten en slechte verlichting. Deze degradaties vernietigen laag-niveau visuele cues die multimodale modellen nodig hebben voor herkenning en redenering.

Bestaande unified multimodal models (modellen die zowel beeldbegrip als beeldgeneratie in één architectuur combineren) lijken een natuurlijke oplossing te zijn, omdat ze een generatieve pathway hebben die in staat is om fijne visuele structuren te modelleren. Echter, de auteurs stellen vast dat deze modellen functioneel gefaald hebben bij het omgaan met beschadigde beelden:

1. Functionele disconnectie: Hoewel de modellen zowel begrijpen als genereren kunnen, gebruiken ze hun generatieve capaciteit niet om het redeneringsproces te ondersteunen wanneer een beeld verslechterd is.
2. Structuurprobleem: De standaard manier waarop generatie en begrip verbonden zijn, vereist dat gegenereerde latent representations eerst worden gedecodeerd naar pixelruimte en vervolgens opnieuw worden ingesloten (re-encoded) door een bevroren visuele encoder. Dit creëert een "bottleneck" die de gradiënten van het antwoordniveau (answer-level feedback) blokkeert, waardoor het model niet kan leren wat het moet genereren om het antwoord te verbeteren.
3. Gebrek aan trainingspatroon: Modellen zijn nooit getraind om generatie als onderdeel van het redeneringsproces te activeren.

Methodologie: CLEAR Framework

CLEAR (Comprehension via Latent Enhancement and Adaptive Reasoning) is een framework dat deze disconnectie overbrugt via drie progressieve stappen:

1. Behavioral Initialization (Supervised Fine-Tuning)

• Doel: Het model leren wanneer en hoe het generatie moet activeren.
• Aanpak: Er wordt een degradatie-bewust dataset (MMD-Bench) samengesteld.
  • Voor beelden met lichte of geen degradatie wordt een direct antwoordpatroon gebruikt.
  • Voor zwaar beschadigde beelden wordt een "generate-then-answer" patroon gebruikt. Het model moet eerst een tussenstap uitvoeren: het genereren van een hersteld visueel toestand voordat het antwoordt.
• Resultaat: Het model leert het redeneringspatroon en wanneer de <image_restore> token moet worden gegenereerd.

2. Latent Representation Bridge

• Doel: De structurele bottleneck van het "decode-reencode" proces elimineren.
• Aanpak: In plaats van gegenereerde latent tokens te decoderen naar pixels en opnieuw te encoden, worden deze direct in de redeneringscontext van het taalmodel geïnjecteerd.
• Voordeel: Dit creëert een directe, differentieerbare verbinding tussen generatie en redenering. Hierdoor kunnen gradiënten van het eindantwoord direct terugvloeien naar de generatieparameters, waardoor het model kan leren welke visuele details nodig zijn voor het juiste antwoord.

3. Interleaved GRPO (Reinforcement Learning)

• Doel: Gezamenlijke optimalisatie van tekstredenering en visuele generatie.
• Aanpak: De auteurs passen een aangepaste versie van GRPO (Group Relative Policy Optimization) toe, gecombineerd met Flow-GRPO.
  • Het model genereert meerdere trajecten (interleaved sequences van tekst en denoising-stappen).
  • De beloning (reward) is gebaseerd op de juistheid van het antwoord (answer-correctness), niet op pixel-perfecte reconstructie.
  • Door een enkele forward pass te gebruiken voor zowel tekst als beeld, wordt de rekenkosten beheersbaar gehouden.
• Adaptieve Strategie: Het model leert een beleid waarbij het generatie alleen activeert als de degradatie het antwoord waarschijnlijk zal beïnvloeden. Op schone beelden wordt generatie overgeslagen om rekentijd te besparen.

Belangrijkste Bijdragen

1. Identificatie van een functionele disconnectie: Het paper toont aan dat bestaande unified modellen hun generatieve kracht niet benutten voor robuust begrip van beschadigde beelden.
2. Het CLEAR Framework: Een nieuwe architectuur die gedragsinitialisatie, een Latent Representation Bridge en Interleaved GRPO combineert om generatie en redenering effectief te koppelen.
3. MMD-Bench: Een nieuw evaluatiebenchmark dat 16 soorten real-world corrupties toepast op zes bestaande multimodale benchmarks, met drie niveaus van ernst.
4. Inzicht in Visual Quality: Een tegen-intuïtieve bevinding dat het verwijderen van pixel-level reconstructie supervisie (MSE loss) en het vertrouwen op alleen antwoord-beslissingen leidt tot hogere perceptuele kwaliteit van de gegenereerde beelden. Dit suggereert dat taakgedreven optimalisatie en visuele kwaliteit natuurlijk op elkaar zijn afgestemd.

Resultaten

• Robuustheid: CLEAR presteert aanzienlijk beter dan bestaande state-of-the-art modellen (zoals Bagel, Janus-Pro, Emu3) en zelfs gesloten modellen (zoals GPT-4o) op beschadigde beelden.
  • Op de "Hard" degradatie-set van MMD-Bench behaalde CLEAR-RL een gemiddelde score van 65.26, wat een verbetering is van +5.11 punten (8.5% relatief) ten opzichte van de basis Bagel-architectuur.
• Behoud van schone prestaties: Het model verliest geen prestaties op schone beelden; het leert adaptief om generatie alleen te gebruiken wanneer nodig.
• Kwaliteit van gegenereerde beelden: Zonder pixel-level supervisie (MSE) genereren de RL-modellen tussenstappen die scherpere randen en betere texturen hebben dan modellen die getraind zijn met expliciete reconstructiedoelen. Dit bevestigt dat het doel (het juiste antwoord) de kwaliteit van de visuele representatie stuurt.
• Efficiëntie: De inferentietijd neemt alleen toe bij zware degradaties (waar generatie wordt getriggerd), wat resulteert in een efficiënt gebruik van rekenkracht.

Significantie

Dit paper is een doorbraak in het veld van robuuste multimodale AI. Het bewijst dat het niet nodig is om externe beeldherstel-pipelines te gebruiken of aparte modules te trainen om met beschadigde beelden om te gaan. In plaats daarvan kan het generatieve vermogen van een unified model intern worden geactiveerd om de informatie te herstellen die nodig is voor redenering.

De bevinding dat taakgedreven optimalisatie (gericht op het juiste antwoord) leidt tot hogere visuele kwaliteit dan expliciete reconstructie-supervisie, heeft brede implicaties voor de toekomst van generatieve AI. Het suggereert dat we modellen kunnen trainen om "nuttige" visuele details te genereren die specifiek gericht zijn op de taak, in plaats van algemene pixel-perfecte reconstructies. Dit maakt systemen veel robuuster voor real-world toepassingen waar beeldkwaliteit vaak suboptimaal is.