Integrating Multimodal Large Language Model Knowledge into Amodal Completion

1. Il Problema

L'completamento amodale è il compito di ricostruire le parti nascoste (occluse) di oggetti o persone in un'immagine, basandosi sulle parti visibili. Questo è fondamentale per applicazioni come veicoli autonomi e robotica.
Le sfide principali affrontate dagli approcci esistenti includono:

• Mancanza di conoscenza del mondo reale: I modelli generativi visivi (come Stable Diffusion) spesso mancano di conoscenza fisica e di senso comune necessaria per inferire correttamente le parti nascoste.
• Mancanza di guida esplicita: I metodi attuali (es. MC Diffusion, pix2gestalt) si affidano principalmente alla capacità generativa del modello senza fornire indicazioni precise su quanto e cosa generare nelle regioni occluse.
• Generazioni indesiderate: Senza una guida adeguata, i modelli tendono a generare oggetti estranei o a estendere l'oggetto target oltre i limiti reali, specialmente quando la maschera di inpainting è troppo grande rispetto all'oggetto effettivo.
• Inefficienza e ambiguità: Utilizzare modelli linguistici multimodali (MLLM) per ogni campione è computazionalmente costoso, e la natura ambigua delle regioni occluse rende difficile per gli MLLM prevedere con precisione le dimensioni esatte dell'oggetto completo.

2. Metodologia: AmodalCG

Il paper propone AmodalCG, un nuovo framework che integra selettivamente la conoscenza del mondo reale degli MLLM (Multimodal Large Language Models) per guidare il processo di completamento. Il sistema si compone di cinque moduli principali:

A. Rilevamento degli Ostacoli (Occluder Detection)

Identifica le maschere degli oggetti che oscurano il target e crea una maschera di inpainting iniziale ($M_{inpaint}$) unendo le aree degli ostacoli.

B. Decisione Selettiva di Invocazione (Guidance Decision Module)

Per ottimizzare i costi computazionali, un modello MLLM più leggero analizza l'immagine isolata dell'oggetto target su sfondo bianco per determinare se è necessaria una guida dettagliata.

• Se l'occlusione è minima, il sistema procede senza chiamare il grande modello.
• Se l'occlusione è significativa, viene attivato un MLLM più potente per generare la guida.

C. Guida Geometrica (Geometric Guidance Module)

Questo modulo stima l'estensione reale dell'oggetto completo (inclusa la parte nascosta).

• Problema risolto: Evita che la maschera di inpainting sia troppo grande, causando la generazione di oggetti estranei.
• Strategia Multi-Scala: Poiché prevedere una singola dimensione esatta è difficile, l'MLLM prevede tre bounding box a diverse scale: Tight (stretto), Moderate e Coarse (largo).
• Ridimensionamento: La maschera di inpainting viene ridotta all'intersezione tra la maschera originale e il bounding box previsto dall'MLLM.

D. Guida Semantica (Semantic Guidance Module)

Genera una descrizione testuale dettagliata ($P_{long}$) della parte occlusa, andando oltre la semplice categoria dell'oggetto.

• Innovazione chiave: Per evitare che l'MLLM descriva gli ostacoli invece dell'oggetto nascosto (un problema comune), il sistema maschera visivamente gli ostacoli nell'input dell'MLLM, mantenendo solo il contesto circostante e l'oggetto target. Questo permette all'MLLM di inferire correttamente la posa e l'aspetto della parte nascosta (es. "un cavallo grigio con un muscolo definito" invece di descrivere il cavaliere che lo copre).

E. Modulo di Inpainting con Espansione Multi-Scala

Il modello generativo visivo (Stable Diffusion) utilizza le due guide (geometrica e semantica).

• Strategia di verifica: Il sistema tenta prima di ricostruire l'oggetto usando la scala più stretta (Tight). Se l'oggetto tocca i bordi della maschera (indicando che non è completo), il sistema passa alla scala successiva (Moderate, poi Coarse). Questo processo iterativo garantisce che l'oggetto sia ricostruito completamente senza generare contenuti indesiderati.

3. Contributi Chiave

1. Framework AmodalCG: Un approccio innovativo che integra la conoscenza degli MLLM nel completamento amodale, fornendo guida sia geometrica (estensione) che semantica (contenuto).
2. Strategie di Efficienza e Robustezza:
   • Invocazione Selettiva: Riduce i costi computazionali attivando l'MLLM solo quando necessario.
   • Espansione Multi-Scala: Mitiga l'incertezza nella stima delle dimensioni degli oggetti occlusi permettendo al sistema di verificare progressivamente diverse scale di ricostruzione.
3. Miglioramento delle Prestazioni: Dimostrazione che la guida esplicita degli MLLM supera i limiti dei metodi basati solo su prompt di categoria o su modelli generativi puri.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset reali (COCO-A, BSDS-A, MP3D-A) e confrontato con stati dell'arte come pix2gestalt, MC Diffusion e OWAAC.

• Segmentazione Amodale: AmodalCG ha ottenuto un miglioramento significativo, raggiungendo un mIoU del 75.09% su COCO-A (vs 64.77% di pix2gestalt), con guadagni particolarmente evidenti nelle scene ad alta occlusione ("Hard").
• Riconoscimento di Oggetti Occlusi: Il metodo ha migliorato l'accuratezza Top-1 del 45.06% (vs 43.39% di pix2gestalt) sul dataset Occluded COCO, dimostrando che le ricostruzioni sono più fedeli all'oggetto reale.
• Analisi dei Componenti:
  • La sola guida geometrica ha portato a un grande miglioramento (da 74.77% a 85.64% mIoU), confermando l'importanza di adattare la maschera alle dimensioni reali.
  • La guida semantica ha mostrato benefici marginali sulla segmentazione (dove l'aspetto non conta) ma è cruciale per il riconoscimento degli oggetti, migliorando l'accuratezza Top-1.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nel campo della visione artificiale, dimostrando che l'integrazione di ragionamento multimodale (tramite MLLM) con la generazione visiva può risolvere problemi complessi di inferenza spaziale.

• Generalizzazione: Il metodo funziona su oggetti "open-world" senza bisogno di addestramento specifico (training-free per il generatore, usa modelli pre-addestrati).
• Affidabilità: Risolve il problema delle "allucinazioni" (generazione di oggetti estranei) tipiche dei modelli generativi quando le maschere sono mal definite.
• Direzione Futura: Suggerisce che l'uso selettivo di grandi modelli linguistici per fornire contesto e vincoli fisici è una via promettente per migliorare compiti di visione che richiedono senso comune e conoscenza del mondo reale.