🤖 AI

Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

Questo articolo propone la Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO), una strategia di apprendimento per rinforzo che consente ai Modelli Linguistici Multimodali Grandi di rifiutare efficacemente oggetti inesistenti nella Comprensione delle Espressioni di Riferimento Generalizzata senza compromettere la propria accuratezza di localizzazione su target esistenti.

Autori originali: Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot a giocare a "Vedo vedo" con un essere umano. L'umano indica un'immagine e dice: "Trova la palla rossa". Se la palla rossa è presente, il robot dovrebbe indicarla esattamente. Ma cosa succede se l'umano dice: "Trova la palla rossa", e l'immagine mostra in realtà un gatto blu? Un robot intelligente dovrebbe dire: "Non riesco a trovare una palla rossa qui; non c'è". Tuttavia, molti dei cervelli informatici super intelligenti di oggi (chiamati Modelli Linguistici Multimodali Grandi) sono come studenti entusiasti che sono terrorizzati dal sbagliare. Sono così disperati di dare una risposta che, quando non vedono la palla rossa, tirano comunque a indovinare, indicando il gatto blu e insistendo: "Eccola qui!". Questo è chiamato "allucinazione": inventare fatti che non sono veri.

Questo articolo affronta una versione specifica e complicata di questo problema chiamata "Comprensione Generalizzata dell'Espressione di Riferimento". È un modo elegante per dire: "Il robot riesce a trovare l'oggetto se è presente, e riesce a dire onestamente 'Non lo vedo' se non c'è?". I ricercatori hanno scoperto che, sebbene questi robot siano bravissimi a trovare le cose, sono terribili nell'ammettere quando le cose mancano. Se si addestra semplicemente il robot a dire "no" più spesso, diventa troppo timoroso e smette di trovare le cose che sono effettivamente lì. Il team aveva bisogno di un modo per insegnare al robot di dire "no" solo quando è veramente necessario, senza fargli dimenticare come dire "sì" quando ha ragione.

Gli autori di questo articolo propongono un nuovo e astuto metodo di addestramento chiamato Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO). Pensa al processo di apprendimento del robot come a un gioco di "Caldo o Freddo". Di solito, il robot riceve un punteggio in base a quanto la sua ipotesi sia vicina. Ma quando l'oggetto non c'è, il robot continua a indovinare comunque, quindi non impara mai la risposta corretta. Il primo trucco dei ricercatori è stato quello di costringere il robot a dire "Nessuno, non lo vedo" durante le sue sessioni di pratica, anche se voleva indovinare. Questo ha dato al robot una "ricompensa" chiara per aver detto la cosa giusta quando l'oggetto era mancante.

Tuttavia, si sono resi conto che se avessero solo lodato il robot per aver detto "Nessuno", esso avrebbe iniziato a dire "Nessuno" per tutto, anche quando l'oggetto era presente. Per risolvere questo, hanno aggiunto una regola speciale: se il robot dice "Nessuno" quando un oggetto è effettivamente presente, riceve una grande penalità. È come dire al robot: "Va bene dire che non vedi la palla se la palla non c'è, ma se dici di non vederla quando è proprio davanti a te, perdi punti". Hanno anche aggiunto una seconda fase in cui il robot deve spiegare perché pensa che l'oggetto manchi (ad esempio, "Non vedo una palla rossa perché c'è solo un gatto blu"). Questo costringe il robot a comprendere realmente l'immagine invece di limitarsi a memorizzare un modello.

I risultati mostrano che questo metodo funziona molto bene. Quando hanno testato il loro nuovo metodo su tre diversi test impegnativi, i robot sono diventati molto più bravi sia a trovare gli oggetti sia a rifiutare di indovinare quando non erano presenti. Ad esempio, in uno di questi test, il loro metodo ha migliorato l'accuratezza complessiva del robot dal 45% al 62%, e ha persino superato altri metodi avanzati con un margine significativo. L'articolo suggerisce che questo approccio aiuta il robot a trovare un equilibrio perfetto: smette di inventare posizioni false per oggetti mancanti, ma non perde la sua capacità di trovare oggetti reali. È un passo verso la creazione di un'IA che non sia solo intelligente, ma anche onesta su ciò che vede e su ciò che non vede.

Sintesi Tecnica: Insegnare agli MLLM a dire di No tramite la GRPO con Calibrazione del Rifiuto

Problema

Il documento affronta la sfida poco esplorata della Comprensione della Referenza Generalizzata (GREC). A differenza della tradizionale Comprensione della Referenza (REC), che assume che l'oggetto target esista sempre, la GREC richiede che i Modelli Linguistici Multimodali Grandi (MLLM) eseguano due compiti distinti:

Localizzazione Positiva: Localizzare accuratamente un oggetto descritto da un'espressione testuale quando questo è presente nell'immagine.
Rifiuto Negativo: Identificare correttamente e rifiutare la localizzazione quando l'oggetto descritto è assente o quando vi è una discrepanza negli attributi o nelle relazioni (ad esempio, "cavallo bianco" in un'immagine di un "cavallo marrone").

Gli attuali MLLM eccellono nella localizzazione ma spesso falliscono nel rifiuto. A causa dell'assenza di campioni negativi durante il pre-addestramento su larga scala, questi modelli tendono ad allucinare bounding box per oggetti inesistenti invece di restituire un rifiuto (ad esempio, "Nessuno"). Le attuali soluzioni di post-addestramento, come il Fine-Tuning Supervisionato (SFT) e i metodi di Reinforcement Learning (RL) standard come la Direct Preference Optimization (DPO) o la Group Relative Policy Optimization (GRPO), migliorano spesso i tassi di rifiuto ma al costo di un grave degrado della precisione di localizzazione sui campioni positivi. Ciò crea uno squilibrio di ottimizzazione in cui i modelli imparano a dire "no" indiscriminatamente, rendendoli inutilizzabili per applicazioni pratiche che richiedono entrambe le capacità.

Metodologia: RC-GRPO (GRPO con Calibrazione del Rifiuto)

Gli autori propongono la RC-GRPO, un framework di apprendimento per rinforzo in due fasi progettato per calibrare il comportamento di rifiuto preservando al contempo la competenza fondamentale di localizzazione. Il framework si basa sulla GRPO ma introduce meccanismi specifici per affrontare le sfide uniche della GREC.

1. Costruzione dei Dati di Addestramento
Il metodo utilizza FineCops-Ref, un benchmark granulare contenente campioni negativi difficili generati tramite perturbazioni linguistiche (cambio di attributi/relazioni) ed editing di immagini. Il set di addestramento consiste in 2.000 campioni bilanciati (1.000 positivi, 1.000 negativi).

2. Fase I: Calibrazione del Rifiuto con Ricompensa Contrastiva
Questa fase mira a stabilire una capacità di base di rifiuto (transizione da 0 a 1) senza far collassare la performance positiva. Impiega tre componenti chiave:

Rollout di Rifiuto Forzato: Poiché i base MLLM raramente esplorano output "Nessuno" durante le prime fasi dell'addestramento, la standard GRPO fallisce nel calcolare vantaggi validi per i campioni negativi (poiché tutti i rollout producono bounding box). La RC-GRPO impone output "Nessuno" tramite una ricerca a beam-search vincolata durante i rollout se il modello non riesce a generarli naturalmente. Ciò garantisce una stima del vantaggio valida per i campioni negativi.
Ricompensa Contrastiva: Una funzione di ricompensa è progettata per penalizzare l'eccessivo rifiuto sui campioni positivi.
- Per i campioni positivi: un bounding box corretto (IoU $\ge$ 0.5) genera una ricompensa di 1; una predizione "Nessuno" genera -1.
- Per i campioni negativi: una predizione "Nessuno" genera 1; un bounding box genera 0.
  Questa struttura insegna al modello che un box scadente è preferibile a un falso rifiuto nei casi positivi.
Scaling del Vantaggio Negativo: Per evitare che il modello si sovra-adatti al compito più facile di dire "Nessuno", i vantaggi dei campioni negativi sono scalati verso il basso da un coefficiente $\alpha \in (0, 1]$ . Ciò bilancia la dinamica di ottimizzazione tra i due tipi di campioni.

3. Fase II: Rinforzo Guidato dal Ragionamento
Per garantire che i rifiuti derivino da una reale comprensione semantica e non da un semplice abbinamento di pattern superficiali, una seconda fase incoraggia il modello a generare spiegazioni per i suoi rifiuti.

Ricompensa della Razionale: Il modello viene istruito a spiegare perché un oggetto è assente. Un sistema di verifica basato su regole valuta la spiegazione generata rispetto alla specifica perturbazione semantica (ad esempio, identificando che "dietro" è stato cambiato in "davanti a").
Formulazione della Ricompensa: La ricompensa include una ricompensa base per il corretto rifiuto più una ricompensa densa per l'identificazione corretta della discrepanza specifica (Pattern Errato) e del pattern originale valido (Pattern Originale). Ciò rinforza la comprensione causale e l'interpretabilità.

Contributi Chiave

Definizione del Task: Il lavoro studia formalmente il task GREC, evidenziando la necessità critica di bilanciare la precisione di localizzazione con l'affidabilità del rifiuto per l'implementazione nel mondo reale.
Framework RC-GRPO: La proposta di un framework di RL calibrato che introduce la Calibrazione del Rifiuto (imponendo output "Nessuno" per ottenere segnali di gradiente validi) e una Penalità sul Campione Positivo (ricompensa contrastiva) per ottimizzare congiuntamente rifiuto e localizzazione.
Rinforzo del Ragionamento: L'introduzione di una fase di generazione di ragioni che ancora i rifiuti al ragionamento causale, migliorando sia l'affidabilità della decisione di "No" che l'interpretabilità del modello.
Validazione Empirica: Esperimenti estesi che dimostrano come RC-GRPO raggiunga un trade-off superiore tra le performance sui campioni positivi e negativi rispetto a SFT, DPO e altri baseline di RL.

Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark: FineCops-Ref, gRefCOCO e D3 (Described Object Detection).

Guadagni di Performance: Su gRefCOCO, l'applicazione di RC-GRPO a Qwen2.5-VL-7B ha migliorato la Precisione (Pr) dal 38.2% (base) al 62.8% (RC-GRPO-I) e al 64.9% (RC-GRPO-II), superando significativamente i modelli specialistici e gli esistenti baseline MLLM come ROD-MLLM e CRS.
Trade-off Bilanciato: A differenza di SFT, che ha ottenuto un'alta accuratezza di rifiuto (N-acc) causando però un crollo catastrofico della localizzazione positiva (P-acc), RC-GRPO mantiene un'alta P-acc pur ottenendo una robusta N-acc.
Frontiera di Pareto: L'analisi del trade-off P-acc vs N-acc ha mostrato che RC-GRPO stabilisce una frontiera di Pareto superiore nella regione ad alta utilità, evitando la "zona di collasso dell'utilità" dove i modelli sacrificano la capacità di grounding per il rifiuto.
Generalizzazione: Il metodo ha mostrato un degrado trascurabile sui benchmark multimodali generali (MME, MMBench, POPE), indicando che la logica di rifiuto non compromette la comprensione visiva generale né induce nuove allucinazioni.
Studi di Ablazione: La rimozione di qualsiasi componente (Forced-Rejection, Contrastive Reward o Advantage Scaling) ha portato a performance subottimali, confermando la necessità dell'intero framework.

Significatività e Rivendicazioni

Il documento afferma che RC-GRPO risolve l'inerente squilibrio di ottimizzazione nell'addestramento degli MLLM per la GREC. Interiorizzando la logica di rifiuto causale attraverso l'apprendimento per rinforzo calibrato, il metodo consente ai modelli di "dire no" in modo affidabile senza sacrificare la loro competenza fondamentale nella localizzazione. Gli autori sostengono che questo approccio vada oltre la semplice soglia o le modifiche architettoniche, fornendo una soluzione di post-addestramento scalabile che rende la GREC sostanzialmente più pratica per scenari reali in cui gli oggetti possono essere assenti o discordanti. Il lavoro sottolinea che il modello impara quando e perché rifiutare, piuttosto che rifiutare gli input indiscriminatamente.