360{\deg} Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

Deze paper introduceert 360Bench, een benchmark voor het beoordelen van multimodale taalmodellen op 360-gradenbeelden, en presenteert Free360, een trainingsvrije methode die scene graphs en adaptieve transformaties gebruikt om de prestaties van deze modellen voor visuele vraag-antwoordtaken aanzienlijk te verbeteren.

De kern

Stel je voor dat je een 360-graden foto maakt van een drukke markt. Je kunt overal naar kijken: links, rechts, boven, onder, en zelfs achter je. Voor een mens is dit heel normaal; je draait gewoon je hoofd. Maar voor een kunstmatige intelligentie (een AI) is dit een enorme puzzel.

Deze paper, getiteld "360° Image Perception with MLLMs", gaat over hoe slimme computers (die we MLLMs noemen, ofwel 'meerdere-zintuigen-talenmodellen') moeite hebben met deze ronde foto's, en hoe de auteurs een nieuwe, slimme manier hebben bedacht om dit op te lossen zonder de computer opnieuw te hoeven leren.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gedraaide" Wereld

Normale foto's zijn rechthoekig, net als een postkaart. Maar een 360-graden foto is als een bol die plat is gedrukt op een vel papier.

• De vervorming: Als je een wereldbol plat maakt, worden de polen (boven en onder) enorm uitgerekt. Een auto die normaal groot is, kan eruitzien als een lange, dunne sliert.
• De verwarring: De AI kijkt naar deze platte, vervormde foto en denkt: "Waar is de deur? Is dat een boom of een paal?" Omdat de AI gewend is aan rechthoekige foto's, raakt hij de weg kwijt in deze ronde wereld.

De auteurs hebben een nieuwe test gemaakt, genaamd 360Bench.

• De analogie: Stel je voor dat je een examen geeft aan studenten. In plaats van gewone vragen, geef je ze een ronde kamer en vraag je: "Hoeveel flessen staan er in de koelkast?" of "Waar staat de brandkraan ten opzichte van jou?".
• Ze hebben 7.000-resolutie foto's gebruikt (super scherp) en 7 soorten vragen bedacht.
• Het resultaat: Zelfs de slimste AI's (zoals GPT-4o) haalden maar een 46%. Mensen haalden 86%. De AI's waren duidelijk in de war door de ronde wereld.

2. De Oplossing: Free360 (De "Detective" zonder extra training)

De auteurs wilden niet de AI opnieuw trainen (dat is duur, tijdrovend en kost veel energie). In plaats daarvan bedachten ze Free360.

Hoe werkt Free360?
Stel je voor dat de AI een detective is die een complexe moordzaak moet oplossen in een ronde kamer. In plaats van blindelings naar de hele kamer te staren, doet Free360 het als volgt:

1. De "Cubemap" (De 6-kantige doos):
   De AI kijkt eerst naar de foto alsof deze is opgesplitst in 6 vlakke vlakken (voor, achter, links, rechts, boven, onder). Dit is als een doos die je openklapt. Hierdoor zijn de objecten niet meer vervormd. De AI kan nu duidelijk zien: "Ah, daar is een brievenbus!"

2. De "Scene Graph" (Het detective-bord met draadjes):
   De AI maakt geen gewone lijstje, maar bouwt een schets (een zogenaamde 'scene graph').

   • Hij plakt foto's van de gevonden objecten op een bord.
   • Hij schrijft erbij wat ze zijn (bijv. "Rode brievenbus").
   • Hij trekt draadjes tussen de objecten om te zeggen hoe ze ten opzichte van elkaar staan (bijv. "De brievenbus staat tegenover de deur").
   • Hij trekt ook draadjes naar de "kijker" (jij): "De brievenbus is links van jou."

3. De "Rotatie" (Het draaien van de camera):
   Als de AI moet bepalen of twee objecten tegenover elkaar staan, draait hij virtueel de camera in de ronde wereld zodat hij precies tussen die twee objecten staat. Dit is als een mens die zijn hoofd draait om beter te kijken, in plaats van alleen naar de platte foto te staren.

4. Het Antwoord:
   Pas nadat de AI al deze losse stukjes informatie (de schets met draadjes) heeft verzameld, vraagt hij de grote AI: "Kijk eens naar deze schets. Wat is het antwoord?" Omdat de schets de verwarring wegneemt, kan de AI het juiste antwoord geven.

3. Waarom is dit cool?

• Geen nieuwe school: Je hoeft de AI niet opnieuw naar school te sturen (geen "training"). Je geeft hem gewoon een slimme methode om de foto te analyseren.
• Het werkt overal: Of je nu een kleine of een enorme AI gebruikt, deze methode maakt ze allemaal slimmer.
• Snelheid: Het kost iets meer tijd dan een simpele blik (ongeveer 22 seconden in plaats van 2), maar dat is nog steeds sneller dan een mens die een hele VR-bril opzet en rondkijkt (ongeveer 29 seconden).

Samenvatting in één zin

De auteurs zeggen: "AI's zijn slim, maar ze raken de weg kwijt in ronde 360-graden foto's. Onze oplossing, Free360, is als een slimme detective die de ronde wereld eerst opdeelt in vlakke stukken, een schets maakt van alles wat hij ziet, en pas dan het antwoord geeft – zonder dat de detective ooit opnieuw hoeft te leren."

Dit maakt het mogelijk voor robots, zelfrijdende auto's en assistente systemen om onze ronde wereld veel beter te begrijpen.

Technische samenvatting

Probleemstelling

Multimodale Grootte Taalmodellen (MLLMs) hebben indrukwekkende prestaties geleverd bij het begrijpen en redeneren over conventionele (platte) afbeeldingen. Echter, hun perceptie van 360°-afbeeldingen blijft grotendeels onontgonnen. 360°-afbeeldingen bieden een volledig zicht op de omgeving, wat holistisch ruimtelijk redeneren mogelijk maakt, maar introduceert unieke uitdagingen:

1. Geometrische vervorming: Omdat 360°-afbeeldingen (sferisch) worden geprojecteerd op 2D-oppervlakken (zoals Equirectangular Projection - ERP of Cubemap Projection - CMP), ontstaan er vervormingen, vooral aan de polen, en objecten kunnen worden opgesplitst over de randen van de afbeelding.
2. Complexe ruimtelijke relaties: Het redeneren over een continue sferische ruimte is inherent complex; modellen interpreteren vaak verkeerd hoe objecten ten opzichte van elkaar en de kijker staan.
3. Gebrek aan benchmarks: Bestaande datasets voor 360°-VQA (Visual Question Answering) missen vaak hoge resolutie, menselijke annotatie voor fijne details, of een brede reeks taken die specifiek ingaan op de uitdagingen van projectie en ruimtelijk redeneren.

Bestaande MLLMs presteren slecht op deze taken (de beste modellen halen slechts ~46% nauwkeurigheid tegenover 86% voor mensen), en het fijnafstemmen (fine-tuning) is rekenintensief en riskeert het vergeten van algemene kennis.

Methodologie

Het paper introduceert twee hoofdbijdragen: een nieuwe benchmark (360Bench) en een trainingsvrije methode (Free360).

1. 360Bench: Een Nieuwe Benchmark

360Bench is een VQA-benchmark specifiek ontworpen voor hoge-resolutie (7K) 360°-afbeeldingen.

• Data: Bestaat uit 1.532 unieke samples afkomstig van diverse bronnen (Flickr, NOIRLab, Insta360), met een mix van binnen-, buiten- en luchtfoto's (dag/nacht).
• Taken: De benchmark bevat zeven subtaken verdeeld over vier categorieën:
  • Fijne Perceptie (FP): Herkenning en telling van kleine objecten of tekst (FP-IR, FP-IC).
  • Vervormde Perceptie (PP): Herkenning en telling van objecten die door projectie zijn vervormd of opgesplitst (PP-IR, PP-IC).
  • Ruimtelijk Redeneren (SR): Relaties tussen objecten (SR-Os) en tussen objecten en de kijker (SR-OV).
  • Routegeven (DG): Het plannen van een route op basis van visuele aanwijzingen.
• Annotatie: Alle vragen en antwoorden zijn handmatig gemaakt door menselijke annotatoren die de scènes in VR hebben verkend, wat zorgt voor hoge kwaliteit en vermijdt dat antwoorden kunnen worden gegokt zonder de afbeelding te begrijpen.

2. Free360: Een Trainingsvrije Framework

Free360 is een framework dat geen extra training vereist en gebruikmaakt van scènegrafen om de redenering te structureren. Het benut de complementaire sterke punten van ERP (goed voor ruimtelijk redeneren) en CMP (goed voor objectdetectie zonder vervorming).

Het proces verloopt in vier stappen:

1. Entiteitsidentificatie: De MLLM analyseert de afbeelding in CMP-formaat (Cubemap) om objecten te detecteren en te lokaliseren. Dit minimaliseert geometrische vervorming bij het vinden van objecten.
2. Attribuutextractie: Voor elke gedetecteerde entiteit wordt een "crop" (uitsnede) gemaakt van de originele ERP-afbeelding. De MLLM beschrijft deze uitsnede om fijne details (zoals tekst of logo's) te extraheren.
3. Inter-Entiteit Relatie Detectie: Om ruimtelijke relaties tussen objecten te begrijpen, wordt de sferische afbeelding roteren zodat het paar van objecten centraal staat. De MLLM analyseert deze geroteerde afbeelding om de relaties (bijv. "links van", "tegenover") te bepalen.
4. Entiteit-Beeld Relatie Detectie: De relatie tussen objecten en de zes gezichtsvlakken van de kijker (voor, achter, links, rechts, boven, onder) wordt gemodelleerd.

De gegenereerde scènegraf (bestaande uit knopen voor entiteiten en viewpoints, en randen voor attributen en relaties) wordt omgezet in gestructureerde tekst en als context aan de MLLM gegeven om het uiteindelijke antwoord te genereren.

Kernbijdragen

1. 360Bench: De eerste hoge-resolutie benchmark voor single-image 360° VQA met menselijke annotaties, specifiek ontworpen om fijne perceptie, ruimtelijk redeneren en robustheid tegen projectievervorming te testen.
2. Systematische Evaluatie: Een uitgebreide evaluatie van 13 modellen (7 MLLMs en 6 verbeteringsmethoden) op 360Bench, wat laat zien dat huidige modellen significant tekortschieten vergeleken met menselijke prestaties.
3. Free360: Een trainingsvrije, scènegraf-gebaseerde methode die 360°-specifieke operaties (zoals entiteitsgecentreerde rotatie en view-mapping) integreert. Het is de eerste methode die consistent de prestaties van de basis-MLLM verbetert zonder extra training.

Resultaten

• Mens vs. Model: Mensen behalen een nauwkeurigheid van 86,3%, terwijl de beste bestaande MLLM (Gemini Pro 2.5) slechts 46,5% haalt.
• Projectieformaat: Er is een duidelijk verschil tussen ERP en CMP. CMP presteert beter bij taken met projectievervorming (tot +14,1% verbetering), terwijl ERP beter presteert bij ruimtelijk redeneren (tot +14,6% verbetering).
• Free360 Prestaties: Free360 verbetert de basis-MLLM (Qwen2.5-VL-7B) met 7,3% in totale nauwkeurigheid (van 38,1% naar 45,3%). Op specifieke subtaken (zoals SR-OV) loopt de verbetering op tot 22,9%.
• Efficiëntie: Hoewel Free360 meer tijd kost dan een directe afvraag (22,5 seconden vs 2,1 seconden), blijft het binnen het bereik van menselijke reactietijd (28,9 seconden) en is het aanzienlijk sneller dan andere geavanceerde methoden zoals DC2 of DeepEyes.

Betekenis en Toekomstperspectief

Dit paper benadrukt dat het simpelweg toepassen van bestaande MLLMs op 360°-data ontoereikend is vanwege de unieke geometrische en ruimtelijke uitdagingen.

• Praktische Impact: Free360 biedt een schaalbare, trainingsvrije oplossing die direct inzetbaar is voor toepassingen zoals autonoom rijden, assistieve robotica en surveillance, zonder de kosten en risico's van fine-tuning.
• Wetenschappelijke Impact: Het introduceert een nieuwe standaard (360Bench) voor het evalueren van 360°-perceptie en demonstreert dat het decomponeren van redeneringstaken via scènegrafen en het gebruik van adaptieve sferische transformaties een effectieve route is om de kloof tussen menselijke en machineperceptie te verkleinen.

Toekomstig werk kan zich richten op het uitbreiden van deze methode naar 360°-video en het verfijnen van lokale redeneringsmodules.