From Drop-off to Recovery: A Mechanistic Analysis of Segmentation in MLLMs

Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) worden steeds vaker toegepast op pixel-niveau visuele taken, zoals semantische segmentatie. Echter, hun intrinsieke capaciteit voor ruimtelijk begrip is slecht begrepen. Bestaande werken suggereren dat MLLMs zonder taak-specifieke finetuning soms onderpresteren ten opzichte van hun onderliggende visuele encoders op klassieke visuele taken. Het is onduidelijk waar in de MLLM-stack (Vision Encoder, Adapter, LLM) segmentatiebekwaamheid behouden, verslechterd of juist verbeterd wordt. De auteurs willen de mechanistische oorzaken achter deze prestaties ontrafelen: waar en hoe verwerken MLLMs visuele informatie voor segmentatie?

Methodologie

De auteurs introduceren een systematisch, interventie-gedreven raamwerk om de MLLM-pipeline te ontleden. Ze gebruiken drie hoofdmethoden:

1. Lagewijze Lineaire Probing:

   • Ze evalueren de segmentatiekwaliteit op elk stadium van de pipeline: bij de output van de Vision Encoder, na de Adapter, en bij elke tussenliggende laag van de LLM.
   • Ze trainen onafhankelijke lineaire probers (kleine classificatoren) op de ingevroren embeddings van elke laag om per-patch semantische klassen te voorspellen.
   • Dit gebeurt op drie benchmarks: ADE20K, PASCAL VOC 2012 en Cityscapes, met verschillende visuele encoders (CLIP, DINOv2, SigLIP) gekoppeld aan Vicuna-7B.

2. Attention Knockout Interventies:

   • Om te testen of zelf-verfijning (self-refinement) actief wordt gestuurd door cross-token aandacht, blokkeren ze specifieke aandachtspaden.
   • Ze selecteren conflicterende klassenparen (bijv. "plafond" vs. "lucht"). Ze blokkeren de aandacht naar tokens die verkeerd zijn geclassificeerd (om te zien of fouten sneller worden gecorrigeerd) of naar tokens die correct zijn geclassificeerd (om te zien of deze fungeren als "semantische ankers").

3. Causale vs. Bidirectionele Aandacht:

   • Ze analyseren het effect van de standaard causale aandacht (waarbij tokens alleen naar voorgaande tokens kunnen kijken) op vroege image tokens, die hierdoor "context-sterfte" (context starvation) ervaren.
   • Ze introduceren een modificatie waarbij image tokens onderling bidirectionele aandacht hebben, terwijl de causale structuur voor tekstgeneratie behouden blijft.

Belangrijkste Bijdragen en Resultaten

1. Representatie Daling bij de Adapter en Herstel door de LLM

• Drop-off: De adapter (die visuele features projecteert naar de LLM-embeddingruimte) introduceert een significante daling in segmentatiekwaliteit (gemeten in mIoU). Dit komt doordat de adapter fijne ruimtelijke details opoffert voor cross-modale uitlijning met taal.
• Recovery: De LLM-lagen herstellen deze kwaliteit progressief. De prestaties stijgen sterk in de vroege LLM-lagen en stabiliseren op een hoger niveau dan de adapter-output.
• Invloed van Encoder: Herstellen is sterker bij text-gealigneerde encoders (zoals CLIP en SigLIP) dan bij visus-only encoders (zoals DINOv2), wat suggereert dat de compatibiliteit tussen de visuele ruimte en de LLM-ruimte cruciaal is.

2. Cross-Token Aandacht als Drijvende Kracht

• Semantische Ankers: De attention knockout experimenten tonen aan dat correct geclassificeerde tokens fungeren als "semantische ankers". Hun aandachtssignalen trekken verkeerd geclassificeerde buren naar het juiste label.
• Actief Proces: Als correcte ankers worden geblokkeerd, verslechtert de zelf-correctie. Als verkeerde klassen worden geblokkeerd, versnelt de correctie. Dit bewijst dat de verbetering niet een passief bijproduct is van residual connections, maar actief wordt gestuurd door cross-token aandacht.
• Beperking: De LLM kan geen fijne ruimtelijke details herstellen die volledig ontbreken in de encoder-features; het lost voornamelijk semantische ambiguïteiten op.

3. Context Sterfte en Bidirectionele Aandacht

• Positie Bias: Onder standaard causale aandacht lijden de eerste image tokens (bijv. linksboven) aan "context starvation" omdat ze geen visuele context van andere image tokens hebben. Dit leidt tot lagere nauwkeurigheid die niet verbetert in diepere lagen.
• Oplossing: Het toepassen van bidirectionele aandacht alleen tussen image tokens elimineert deze bias.
• Resultaat: Bidirectionele aandacht leidt tot aanzienlijke verbeteringen in de nauwkeurigheid van vroege tokens (tot +14,35% pixel accuracy voor patch 0) en zorgt voor een monotoon herstel in diepere lagen, vooral bij SigLIP.
• Taalvermogen: Deze wijziging heeft geen negatief effect op de taalbegripscapaciteiten (VQA benchmarks) van de modelen, mits de visuele encoder goed is gealigneerd met tekst.

Significantie en Conclusie

Dit paper biedt een mechanistisch inzicht in hoe MLLMs visuele informatie verwerken voor segmentatie. De belangrijkste conclusies zijn:

1. De Adapter is een bottleneck: Hij degradeert ruimtelijke precisie.
2. De LLM is een hersteller: De LLM-lagen gebruiken cross-token aandacht om visuele representaties te verfijnen en semantische coherentie te herstellen.
3. Architecturale Inzichten: Causale aandacht creëert een onnodige beperking voor vroege image tokens. Het toepassen van bidirectionele aandacht binnen image tokens verbetert de segmentatie aanzienlijk zonder de taalcapaciteiten te schaden.

Deze bevindingen bieden praktische richtlijnen voor het ontwerpen van toekomstige MLLMs die gespecialiseerd zijn in segmentatie: het is essentieel om de compatibiliteit tussen encoder en LLM te optimaliseren en de aandachtsmaskers aan te passen om context-sterfte te voorkomen.