Why MLLMs Struggle to Determine Object Orientations

Titel: Waarom Multimodale Grootte Taalmodellen (MLLMs) Moeite Hebben met het Bepalen van Objectoriëntaties

Auteurs: Anju Gopinath, Nikhil Krishnaswamy, Bruce Draper (Colorado State University)

---

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLMs), zoals LLaVA en Qwen, presteren opvallend slecht bij taken die vereisen dat ze de 2D-oriëntatie van objecten in afbeeldingen redeneren. Eerdere studies tonen aan dat zelfs de beste systemen slechts ongeveer 34% van de vragen over objectoriëntatie correct beantwoorden.

De heersende hypothese in de gemeenschap (onder andere geopperd door Tong et al. en Nichols et al.) is dat deze falen voortkomen uit de visuele encoder (zoals CLIP, SigLIP of ViT). De redenering is dat deze encoders zijn getraind voor semantische afbeelding-tekst-uitlijning en niet voor geometrisch redeneren, waardoor oriëntatie-informatie simpelweg niet in de visuele embedding wordt opgeslagen. Als de encoder de oriëntatie niet vastlegt, kan het taalmodel het ook niet terugvinden.

2. Methodologie

De auteurs testen deze hypothese empirisch door te onderzoeken of oriëntatie-informatie daadwerkelijk aanwezig is in de interne representaties van de visuele encoders, ongeacht of het taalmodel het kan benutten.

Experimenteel Protocol:

• Modellen: Er zijn vier open-source MLLMs getest: LLaVA-OneVision, Qwen2.5-VL-7B-Instruct, LLaVA-1.5 en LLaVA-1.6.
• Encoders: De studie analyseert de visuele embeddings van drie verschillende encoders: SigLIP (in LLaVA-OneVision), ViT (in Qwen) en CLIP (in LLaVA 1.5/1.6).
• Dataset: Er zijn gecontroleerde datasets samengesteld met twee typen input:
  1. Volledige afbeeldingen: Hele afbeeldingen die in stappen van 1° worden gedraaid.
  2. Gecombineerde afbeeldingen (Blended): Een natuurlijk achtergrondbeeld met een voorgrondobject (bijv. een hond, trein of hagedis) dat in een cirkelvormige patch is geplaatst en in stappen van 1° wordt gedraaid. Dit voorkomt artefacten aan de randen.
• Analyse: In plaats van te kijken naar het antwoord van het MLLM, extraheren de auteurs de visuele embeddings en trainen ze lineaire ridge-regressors om de rotatiehoek (sinus en cosinus) direct te voorspellen op basis van deze embeddings.
• Null-hypothese: De oriëntatie-informatie is niet bewaard gebleven in de encoder-embeddings.

3. Belangrijkste Bijdragen en Resultaten

A. De Hypothese wordt Verworpen

Het meest cruciale resultaat is dat de null-hypothese wordt verworpen. De lineaire regressors konden de oriëntatie van objecten en afbeeldingen met hoge nauwkeurigheid voorspellen uit de visuele embeddings.

• Nauwkeurigheid: De gemiddelde absolute fout (MAE) lag overal onder de 3° (in veel gevallen zelfs onder de 2°).
• Conclusie: De visuele encoders (CLIP, SigLIP, ViT) bevatten wel degelijk nauwkeurige informatie over de 2D-oriëntatie. Het probleem ligt dus niet bij het ontbreken van informatie in de encoder.

B. Foutverdeling is Gaussisch

De fouten in de oriëntatievoorspellingen door de regressors bleken willekeurig en ongeveer Gaussisch verdeeld te zijn (gevestigd via Kolmogorov-Smirnov-tests en Q-Q-plots). Dit suggereert dat de oriëntatiesignaal "goed gedragen" is en niet door ruis wordt overschaduwd.

C. Diffuse Informatieverspreiding (Feature Substitution)

Als de informatie er wel is, waarom faalt het MLLM dan? De auteurs onderzochten dit via feature-substitutie-experimenten:

• Ze vervangen geleidelijk kenmerken (features) van een embedding met een bekende oriëntatie door die van een embedding met een andere oriëntatie.
• Resultaat: Om de voorspeller te "bedriegen" en de oriëntatie te laten veranderen, moesten tienduizenden tot honderdduizenden kenmerken worden vervangen (bijv. >540.000 features voor LLaVA-OneVision).
• Conclusie: Oriëntatie-informatie is niet lokaal opgeslagen in een paar specifieke neuronen, maar diffuus verspreid over de hele vectorruimte. Dit maakt het waarschijnlijk moeilijk voor het taalmodel om deze informatie te isoleren en te gebruiken voor redenering.

D. Achtergrondafhankelijkheid

Een tweede belangrijke bevinding is dat de schatting van de voorgrondoriëntatie sterk afhankelijk is van de oriëntatie van de achtergrond.

• Als de achtergrond in de trainingsdata statisch was, maar in de testdata werd gedraaid, stortte de prestatie in (MAE > 80°).
• Dit suggereert dat de encoders de oriëntatie van het voorwerp relateren aan een "standaard" achtergrondoriëntatie, wat de robuustheid beperkt in dynamische scenario's.

4. Significatie en Conclusie

Deze studie verschaft een fundamenteel nieuw inzicht in de beperkingen van MLLMs:

1. Niet de Encoder, maar de Integratie: Het falen van MLLMs bij ruimtelijke taken ligt niet aan het ontbreken van visuele informatie in de encoder, maar aan het vermogen van het taalmodel om die diffuse, verspreide informatie te extraheren en te integreren in een redeneerproces.
2. Nieuwe Richting voor Onderzoek: Het suggereert dat het verbeteren van ruimtelijk redeneren niet alleen door het trainen van betere encoders kan worden opgelost, maar mogelijk door architecturale wijzigingen die beter omgaan met diffuus verspreide semantische informatie of door specifieke training op het benutten van deze informatie.
3. Aanpak van Bestaande Hypotheses: Het paper weerlegt de populaire theorie dat CLIP-achtige encoders per definitie "geblind" zijn voor geometrie, en plaatst de focus op de interactie tussen visuele representatie en taalredenering.

Kortom: De visuele "ogen" van de modellen zien de rotatie scherp, maar de "hersenen" (het taalmodel) kunnen de verspreide signalen niet effectief samenvoegen tot een correct antwoord.