SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

Il paper presenta SGG-R$^{\rm 3}$, un framework di ragionamento strutturato che combina fine-tuning supervisionato guidato dal chain-of-thought e apprendimento per rinforzo con ottimizzazione della politica di sequenza di gruppo per generare scene graph end-to-end privi di bias, affrontando efficacemente le sfide della distribuzione a coda lunga e della scarsità delle relazioni.

L'essenziale

Immagina di guardare una foto affollata di una piazza. Un Sistema di Generazione di Grafi di Scena (SGG) è come un detective che deve descrivere la foto non solo dicendo "c'è un uomo", ma costruendo una mappa completa di chi c'è, cosa sta facendo e come tutto è collegato: "L'uomo (1) sta camminando (2) sulla strada (3), mentre il cane (4) è accanto (5) al suo padrone".

Il problema? I computer tradizionali sono bravi a vedere gli oggetti, ma spesso si perdono nei dettagli o inventano cose che non esistono (allucinazioni), specialmente quando le relazioni sono rare o complesse.

Il paper SGG-R3 propone una soluzione intelligente che trasforma il computer da un "scolaro che impara a memoria" a un "investigatore esperto". Ecco come funziona, passo dopo passo:

1. Il Problema: Il Detective Confuso

Prima, i modelli di intelligenza artificiale cercavano di descrivere la scena in un unico, lungo getto di parole. Era come chiedere a qualcuno di scrivere un romanzo intero senza fare pause: spesso si dimenticavano i personaggi, ripetevano le stesse frasi o inventavano relazioni assurde (es. "la sedia sta mangiando il gatto"). Inoltre, imparavano solo le cose più comuni (come "uomo su sedia") e ignoravano quelle rare (come "gatto su lampada"), perché nei dati di addestramento ce n'erano poche.

2. La Soluzione: Il Metodo "R3" (Tre Passi Chiari)

Gli autori hanno creato un nuovo metodo chiamato SGG-R3. Immagina che il computer non scriva più tutto d'un fiato, ma segua una ricetta rigorosa in tre fasi, proprio come un cuoco che prepara un piatto complesso:

• Fase 1: L'Inventario (Cosa c'è?)
  Prima di guardare i dettagli, il modello fa una lista mentale delle categorie di oggetti presenti. Non cerca ancora di contare quanti ci sono, ma si chiede: "Vedo persone? Vedo veicoli? Vedo alberi?". Questo riduce il caos e aiuta il modello a non perdersi.
• Fase 2: Il Rilevamento (Dove sono?)
  Ora che sa cosa cercare, il modello va a caccia di ogni singolo oggetto, uno per uno, assegnandogli un nome e una posizione precisa (come "Uomo 1", "Uomo 2"). È come se mettesse etichette adesive su ogni persona nella foto.
• Fase 3: Le Connessioni (Cosa fanno?)
  Solo ora, avendo una mappa chiara di tutti gli oggetti, il modello inizia a collegarli. Chiede: "L'Uomo 1 sta camminando sulla strada? Il cane è vicino all'uomo?".

L'analogia: È la differenza tra cercare di ricordare una conversazione complessa mentre qualcuno parla velocemente (metodo vecchio) e prendere appunti strutturati: prima i nomi, poi i luoghi, infine le azioni (metodo SGG-R3).

3. Come Risolvono il Problema delle "Cose Rare"

C'è un altro ostacolo: nei libri di testo (i dati di addestramento), ci sono migliaia di esempi di "cane che abbaia" ma solo pochi di "cane che dorme su un ombrello". Il computer tende a ignorare le cose rare.

SGG-R3 usa due trucchi magici:

• L'Amplificatore di Dati (Augmentation): Usano un'intelligenza artificiale molto potente (Qwen2.5-VL) per "immaginare" nuove relazioni plausibili che mancano nei dati originali. È come se un insegnante dicesse: "Ecco 100 foto di cani su ombrelli che ho inventato per farti allenare meglio". Poi, filtrano queste immagini per assicurarsi che abbiano senso (usando un "filtro semantico" che controlla se la frase ha senso logico).
• Il Premio Intelligente (Reward): Durante l'allenamento, non danno un voto solo se la risposta è giusta o sbagliata. Usano un sistema di premi a due livelli:
  • Premio Fine: Se indovini la relazione esatta (es. "sulla"), prendi punti.
  • Premio Grossolano: Se indovini il concetto (es. "vicino a" invece di "sopra"), prendi comunque punti. Questo incoraggia il modello a non aver paura di provare relazioni rare o diverse, migliorando la sua capacità di generalizzare.

4. Il Risultato: Un Detective Infinitamente Migliore

Grazie a questo metodo, il modello SGG-R3:

• Vede di più: Trova molti più oggetti e relazioni rispetto ai metodi precedenti.
• Sbaglia meno: Non inventa cose assurde perché segue la struttura logica passo-passo.
• Impara di più: Riesce a capire relazioni rare che prima ignorava completamente.

In sintesi:
SGG-R3 non è solo un modello più potente; è un modello che pensa meglio. Invece di lanciare un dardo al buio, usa una mappa dettagliata (il ragionamento strutturato) e un allenatore intelligente (i premi adattivi) per imparare a descrivere il mondo visivo in modo completo, preciso e senza pregiudizi, anche quando le cose sono strane o rare.

Sommario tecnico

1. Il Problema

La Generazione di Grafi di Scena (Scene Graph Generation - SGG) mira a strutturare le scene visive in grafi semantici composti da oggetti e le loro relazioni. Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano fatto passi da gigante, l'applicazione di questi modelli alla SGG end-to-end incontra due ostacoli critici:

• Mancanza di ragionamento strutturato: I modelli tendono a navigare in uno spazio di ricerca eccessivamente vasto senza una guida procedurale specifica, portando a allucinazioni, bassa recall e grafici incompleti.
• Distribuzione sparsa e a "coda lunga" (Long-tail): Le relazioni nei dataset sono spesso sbilanciate, con poche relazioni frequenti (head) e molte rare (tail). I modelli finetunati tendono a sovrappredire le relazioni comuni, ignorando quelle rare, risultando in grafici di scena distorti e parziali.

I metodi tradizionali (due stadi: rilevamento oggetti + previsione relazioni) soffrono di propagazione degli errori, mentre i metodi generativi basati su MLLM esistenti mancano di un processo di ragionamento strutturato per gestire la densità e la sequenzialità richieste dalla SGG.

2. Metodologia: SGG-R3

Gli autori propongono SGG-R3, un framework di ragionamento strutturato che integra un processo di Chain-of-Thought (CoT) guidato per il Supervised Fine-Tuning (SFT) e un apprendimento per rinforzo (RL) con ottimizzazione della politica di sequenza di gruppo (GSPO). Il framework opera in tre fasi sequenziali:

A. Fasi di Ragionamento Strutturato (CoT)

Il modello è istruito a decomporre il compito in tre stadi distinti, ciascuno contrassegnato da tag specifici e output in formato JSON:

1. Rilevamento delle Categorie degli Oggetti: Identifica solo le categorie presenti nell'immagine per ridurre lo spazio di ricerca.
2. Grounding delle Istanze degli Oggetti: Localizza e delimita (bounding box) tutte le istanze per ogni categoria identificata, in ordine sequenziale.
3. Estrazione di Relazioni Multi-tipo: Estrae i tripletti (soggetto, predicato, oggetto) suddividendo le relazioni in tre tipi semantici (es. spaziali, possessive, interattive) per catturare la diversità semantica.

B. Arricchimento delle Relazioni (Relation Augmentation - RA)

Per mitigare la sparsità dei dati durante la fase SFT:

• Viene utilizzato un MLLM potente (Qwen2.5-VL-32B) per generare relazioni aggiuntive basate su descrizioni contestuali e predicati predefiniti.
• Le relazioni generate vengono filtrate utilizzando la similarità coseno tra gli embedding (Sentence-BERT) dei tripletti generati e quelli originali del dataset. Solo le relazioni semanticamente allineate (sopra una soglia $\theta$) vengono mantenute, garantendo qualità e diversità semantica.

C. Apprendimento per Rinforzo (RL) con Reward Dual-Granularity

La fase RL ottimizza il ragionamento procedurale utilizzando un nuovo schema di ricompensa (Dual-Granularity Reward):

1. Ricompensa Fine-Grained: Valida l'accuratezza esatta dei tripletti. Introduce un peso adattivo basato sulla frequenza dei predicati per penalizzare le relazioni comuni e favorire quelle rare (coda lunga), riducendo il bias.
2. Ricompensa Coarse-Grained: Utilizza il clustering semantico (DBSCAN) per raggruppare i tripletti ground-truth in prototipi. Il modello viene premiato se genera tripletti semanticamente vicini a questi cluster, anche senza corrispondenza esatta di soggetto/oggetto. Questo migliora la copertura delle relazioni e la generalizzazione.

Il processo di ottimizzazione utilizza Group Sequence Policy Optimization (GSPO), che sostituisce il campionamento a livello di token con uno a livello di sequenza, migliorando la stabilità nell'output di JSON strutturati lunghi.

3. Contributi Chiave

1. Framework di Ragionamento Strutturato: Un approccio sistematico che scompone la generazione del grafo di scena in tre stadi sequenziali (Categorie, Istanze, Relazioni), migliorando la coerenza logica e il controllo rispetto ai metodi generativi end-to-end tradizionali.
2. Strategia di Arricchimento e Reward Innovativa:
   • Introduzione di un metodo di augmentation delle relazioni per SFT che affronta la sparsità dei dati.
   • Sviluppo di un reward a doppia granularità per RL che combina pesi adattivi per i predicati rari e clustering semantico per mitigare il problema della coda lunga e migliorare la copertura.
3. Prestazioni Superiori: Dimostrazione empirica che il framework supera i metodi basati su VLM e non-VLM esistenti, offrendo una generazione di grafi di scena più completa e priva di bias.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark standard: VG150 (Visual Genome) e PSG (Panoptic Scene Graph).

• Prestazioni Generali: SGG-R3 ha ottenuto risultati superiori rispetto a tutte le linee di base (sia VLM che non-VLM) in termini di Recall, mean Recall (mRecall) e Zero-Shot Recall (zsRecall).
  • Su VG150, il modello ha raggiunto il miglior mRecall tra i metodi basati su VLM, superando anche molti metodi non-VLM nella Recall media.
  • Su PSG, ha superato significativamente tutti i metodi multimodali e ha mostrato un miglioramento marginale ma significativo rispetto ai metodi non-VLM, indicando una forte riduzione del bias relazionale.
• Generalizzazione (Zero-Shot): Il modello ha dimostrato una capacità superiore di riconoscere relazioni non viste durante l'addestramento, grazie alla strategia di augmentation e al reward a doppia granularità.
• Analisi Ablativa:
  • L'uso dell'augmentation delle relazioni (RA) ha migliorato significativamente la capacità di riconoscere predicati "Body" e "Tail".
  • Il reward a doppia granularità (DGR) ha portato a miglioramenti coerenti nella Recall e mRecall, specialmente per le relazioni a coda lunga.
• Confronto con MLLM: Anche con un modello base più piccolo (3B parametri), SGG-R3 ha superato modelli base molto più grandi (7B e 32B) e approcci basati su RL senza ragionamento strutturato, dimostrando che la qualità del post-training e la struttura del ragionamento sono fattori determinanti.

5. Significato e Impatto

SGG-R3 rappresenta un passo avanti significativo verso la generazione di scene graph unbiased e completa.

• Superamento dei limiti attuali: Risolve il problema della sparsità dei dati e del bias verso le relazioni frequenti, che hanno finora limitato l'efficacia dei modelli generativi nella SGG.
• Efficienza del Ragionamento: Dimostra che un ragionamento strutturato e guidato (CoT) è essenziale per compiti di visione complessi che richiedono densità e sequenzialità, superando la semplice previsione del prossimo token.
• Applicazioni Future: La capacità di generare grafi di scena completi e privi di bias apre nuove possibilità per applicazioni downstream come la ricerca di immagini, il VQA (Visual Question Answering) e la navigazione robotica, dove la comprensione profonda delle relazioni tra oggetti è cruciale.

In sintesi, il paper propone una soluzione robusta che combina l'intelligenza linguistica dei MLLM con un rigoroso processo di ragionamento visivo strutturato, ottenendo risultati state-of-the-art nella generazione di scene graph.