💻 computer science

Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

Il paper presenta WS-COC, il primo framework guidato da MLLM per il conteggio di oggetti agnostico rispetto alla classe in regime debolmente supervisionato, che utilizza strategie di dialogo, ranking e fusione globale-locale per raggiungere prestazioni competitive con metodi completamente supervisionati riducendo drasticamente i costi di annotazione.

Autori originali: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

Pubblicato 2026-02-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un super-intelligente assistente virtuale (chiamato MLLM, o Modello Linguistico Multimodale) che ha letto milioni di libri e visto milioni di foto. È bravissimo a descrivere cosa vede: "C'è un gatto", "C'è un'auto", "C'è un albero".

Ma c'è un problema: se gli mostri una foto affollatissima di 500 persone in una piazza e gli chiedi "Quante persone ci sono?", lui spesso sbaglia. Si confonde, ne conta 50 invece di 500, o viceversa. Perché? Perché nei suoi libri di testo (i dati su cui è stato addestrato), le foto erano per lo più sparse, con pochi oggetti. Non ha mai "imparato" a contare le folle.

Inoltre, per insegnargli a contare perfettamente, dovresti prendere ogni singola foto e disegnare un puntino su ogni singola persona (un'annotazione "punto-per-punto"). Questo richiederebbe anni di lavoro umano e costerebbe una fortuna.

Gli autori di questo paper hanno detto: "Fermiamoci. Non abbiamo bisogno di quel lavoro enorme. Possiamo insegnargli a contare usando solo il numero totale scritto sotto la foto (es. 'foto con 500 persone'), senza dover disegnare i puntini."

Ecco come hanno fatto, usando tre trucchi magici (le loro "strategie"):

1. Il Gioco dell'Indovinello a Indirizzi (Divide-and-Discern)

Invece di chiedere all'assistente di indovinare subito il numero esatto (es. "Quante persone?"), gli fanno fare un gioco di "sì o no" a più livelli, come un detective che restringe il campo.

Domanda 1: "Ci sono più di 1000 persone?" -> Risposta: "No".
Domanda 2: "Allora ce ne sono più di 500?" -> Risposta: "Sì".
Domanda 3: "Tra 500 e 1000? Ce ne sono più di 750?" -> Risposta: "No".

Facendo questo "dialogo" passo dopo passo, l'assistente impara a dividere il problema grande in piccoli pezzi facili. È come cercare un libro in una biblioteca: non guardi tutti i libri insieme, ma prima scegli il piano, poi la sezione, poi lo scaffale. Alla fine, quando il range è piccolo, l'assistente fa la stima finale con molta più precisione.

2. La Gara di Ordine (Compare-and-Rank)

A volte è difficile dire esattamente quanti oggetti ci sono (è come dire "quanto è alto quel monte?"). Ma è molto più facile dire quale foto ne ha di più o di meno (è come dire "quella montagna è più alta di quest'altra?").

Gli autori hanno addestrato l'assistente a guardare 4 foto diverse della stessa categoria (es. 4 foto di parcheggi) e a dire: "Ordina queste foto dalla meno affollata alla più affollata".
Invece di imparare a contare i numeri, l'assistente impara a capire le differenze relative. È come un allenatore che non ti chiede di correre esattamente a 10 km/h, ma ti fa gareggiare contro altri per vedere chi è più veloce. Questo aiuta l'assistente a capire meglio la "densità" delle cose.

3. La Lente d'Ingrandimento e la Vista d'Insieme (Global-and-Local)

Quando la folla è troppo densa (come in un concerto o in uno stadio), l'assistente tende a sottostimare il numero perché non riesce a vedere i singoli volti.

Per risolvere questo, usano un trucco da "pizza":

Prima guardano l'immagine intera e fanno una stima globale (la "vista d'insieme").
Poi, se la folla è troppo grande, tagliano l'immagine in 4 quadrati più piccoli (come tagliare una pizza).
Chiedono all'assistente di contare i quadratini piccoli separatamente (la "vista ravvicinata").
Infine, mescolano i due risultati: la stima globale tende a essere troppo bassa, quella dei quadratini (perché si contano i bordi due volte) tende a essere troppo alta. Facendo la media dei due, si ottiene un numero perfetto!

Il Risultato?

Con questi tre trucchi, il loro sistema (chiamato WS-COC) è diventato bravissimo a contare oggetti di qualsiasi tipo (persone, auto, pesci, mele) usando solo il numero totale scritto sotto la foto come guida.

Risparmio: Non serve più disegnare puntini su ogni oggetto (risparmio di tempo e denaro enorme).
Precisione: Funziona quasi quanto i sistemi che usano annotazioni costose, ma è molto più economico da creare.
Versatilità: Funziona bene sia con pochi oggetti che con folle immense.

In sintesi: hanno insegnato a un'intelligenza artificiale a contare le cose in una folla non facendole memorizzare ogni singolo oggetto, ma insegnandole a fare domande intelligenti, a confrontare le immagini e a guardare la foto da diverse distanze. Un vero "trucco da mago" per l'informatica!

1. Il Problema

Il conteggio degli oggetti è un compito fondamentale nella visione artificiale con applicazioni in scenari reali come il monitoraggio del traffico, la gestione della folla e l'analisi medica.

Limitazioni dei metodi attuali: I metodi fully-supervised (supervisionati completamente) richiedono annotazioni punto-per-punto per ogni oggetto, un processo laborioso e costoso, specialmente in scene dense dove gli oggetti si sovrappongono.
Limiti della supervisione debole: Esistono pochi metodi a supervisione debole che utilizzano solo il conteggio totale a livello di immagine. Tuttavia, questi sono spesso limitati a una singola categoria (es. solo persone) e non sono "agnostici rispetto alla classe" (cioè non possono contare oggetti arbitrari specificati tramite testo).
Il divario dei MLLM: I Modelli Linguistici Multimodali (MLLM) offrono la possibilità di contare oggetti tramite prompt testuali in modo agnostico rispetto alla classe. Tuttavia, i modelli MLLM pre-addestrati (come LLaVA) tendono a sottostimare drasticamente i conteggi in scene dense a causa della loro esposizione predominante a distribuzioni di oggetti sparsi durante il pre-addestramento.

2. Metodologia: WS-COC

Gli autori propongono WS-COC (Weakly-Supervised Class-agnostic Object Counting), il primo framework basato su MLLM per il conteggio agnostico rispetto alla classe utilizzando esclusivamente supervisione a livello di immagine. Invece di addestrare direttamente il modello a prevedere un numero assoluto (che è difficile a causa del divario modale tra visione e testo), WS-COC introduce tre strategie chiave per "avviare" (bootstrap) il paradigma di conteggio:

A. Divide-and-Discern Dialogue Tuning (D3T)

Questa strategia trasforma il compito di regressione diretta in una serie di compiti di giudizio di intervallo tramite dialogo multi-round.

Meccanismo: Invece di chiedere "Quanti oggetti ci sono?", il modello viene guidato a rispondere a domande binarie come "Ci sono più di $\tau$ oggetti?".
Processo: L'intervallo di conteggio viene progressivamente dimezzato (da un intervallo ampio [1, 2000] a intervalli più piccoli) attraverso un dialogo. Il modello impara a contare "dal facile al difficile" (curriculum learning).
Terminazione: Quando l'intervallo residuo è sufficientemente piccolo, il modello viene chiesto di prevedere il conteggio esatto.

B. Compare-and-Rank Count Optimization (CRCO)

Per colmare il divario modale tra le caratteristiche visive ad alta dimensionalità e i token di testo discreti, questa strategia ottimizza il modello sul ranking relativo piuttosto che sul valore assoluto.

Campionamento: Le immagini vengono raggruppate in base ai loro conteggi reali (es. 4 gruppi per categoria: basso, medio-basso, medio-alto, alto). Durante l'addestramento, si campiona un'immagine da ciascun gruppo.
Task: Il modello riceve un set di immagini e deve ordinarle in base al numero di oggetti (es. "Immagine 1 < Immagine 2 < Immagine 3 < Immagine 4").
Vantaggio: È più facile per un MLLM discernere le differenze relative tra immagini che stimare un numero assoluto, migliorando la robustezza della mappatura visiva-testuale.

C. Global-and-Local Counting Enhancement (GLCE)

Questa strategia viene applicata durante l'inferenza per mitigare il bias di sottostima nelle scene dense.

Approccio: Si ottiene prima una previsione globale ( $c_g$ ). Se il conteggio supera una soglia ( $c_h$ ), l'immagine viene divisa in una griglia di sottosezioni (es. $2 \times 2$ ).
Fusione: Il modello prevede il conteggio locale per ogni sottosezione ( $c_l$ ). Poiché la partizione può causare sovrastime agli bordi (effetto bordo), mentre la previsione globale tende a sottostimare, la previsione finale è la media tra il conteggio globale e la somma dei conteggi locali. Questo sfrutta la natura complementare delle due stime.

3. Contributi Chiave

Primo Framework WS per MLLM: WS-COC è il primo metodo che combina modelli linguistici multimodali con supervisione debole (solo conteggio a livello di immagine) per il conteggio agnostico rispetto alla classe.
Strategie di Bootstrapping Innovative: L'uso combinato di dialogo incrementale (D3T), ottimizzazione del ranking (CRCO) e fusione globale-locale (GLCE) risolve efficacemente i problemi di sottostima e di divario modale.
Efficienza delle Annotazioni: Elimina la necessità di costose annotazioni punto-per-punto, richiedendo solo il conteggio totale per immagine, riducendo drasticamente i costi di etichettatura.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro benchmark ampiamente utilizzati: FSC-147, CARPK, PUCPR+ e ShanghaiTech.

Prestazioni: WS-COC raggiunge prestazioni competitive o superiori rispetto a molti metodi fully-supervised dello stato dell'arte (SOTA) come CountGD, T2ICount e VLPG, pur utilizzando solo supervisione debole.
- Su FSC-147 (Test Set), WS-COC ottiene un MAE di 13.91, superando significativamente la baseline MLLM-Zero (MAE 38.19) e il modello base WS-COC-Base (MAE 21.08).
- In scenari densi (>100 oggetti), l'errore di conteggio (MAE) scende da 149.69 (MLLM-Zero) a 54.37 con WS-COC.
Generalizzazione: Il modello dimostra una forte capacità di generalizzazione cross-dataset, ottenendo i migliori risultati su PUCPR+ e SHA, e performance competitive su CARPK e SHB rispetto ai metodi SOTA supervisionati.
Efficienza: Nonostante l'uso di un MLLM (LLaVA-OneVision-7B), l'uso di LoRA per il fine-tuning mantiene i costi di addestramento bassi (3.44 ore su GPU L20), inferiori a molti metodi SOTA.

5. Significato e Impatto

Questo lavoro segna un passo avanti significativo nell'uso dei Large Multimodal Models per compiti di visione artificiale specifici e difficili come il conteggio denso.

Democratizzazione dell'annotazione: Dimostra che è possibile raggiungere prestazioni di livello SOTA senza annotazioni punto-per-punto, rendendo il conteggio di oggetti scalabile a nuovi domini e categorie.
Nuovo Paradigma: Introduce un approccio basato sul ragionamento (dialogo e ranking) invece della semplice regressione, sfruttando meglio le capacità inferenziali dei MLLM.
Applicabilità: La capacità di contare oggetti arbitrari specificati tramite testo in scenari densi apre nuove possibilità per l'analisi automatizzata in settori come la sorveglianza urbana, il monitoraggio agricolo e l'analisi medica, dove l'etichettatura dettagliata è spesso proibitiva.

In sintesi, WS-COC trasforma i limiti dei MLLM nel conteggio denso in un punto di forza, utilizzando strategie di addestramento e inferenza intelligenti per ottenere un conteggio preciso, agnostico rispetto alla classe e a basso costo di annotazione.