Riepilogo Tecnico: HueManity – Sondare la Percezione Visiva Fine-Grained nei MLLM

Problematica

Sebbene i Modelli Linguistici Multimodali (MLLM) abbiano dimostrato capacità impressionanti nel ragionamento visivo di alto livello, come il visual question answering (VQA) e la descrizione di immagini (captioning), i benchmark esistenti trascurano ampiamente la loro capacità di catturare dettagli percettivi fini (fine-grained). Gli attuali paradigmi di valutazione spesso confondono la percezione con il ragionamento semantico, permettendo ai modelli di fare affidamento su prior linguistici piuttosto che sul puro input visivo. Poiché i MLLM sono sempre più impiegati in domini critici per la sicurezza (ad es. guida autonoma, imaging medico), la mancanza di una fondamentale acuità percettiva — specificamente la capacità di estrarre segnali coerenti da ambienti visivamente congestionati — pone un rischio significativo. Il paper sostiene che la capacità di discernere pattern da indizi sottili e di basso livello (colore, luminanza, texture) sia un prerequisito per un'intelligenza visiva robusta, eppure questa capacità rimane non sondata dai benchmark standard.

Metodologia: Il Benchmark HueManity

Per affrontare questa lacuna, gli autori introducono HueManity, un benchmark scalabile e automatizzato progettato per isolare e valutare la percezione visiva fine-grained.

Costruzione del Dataset

• Scala e Contenuto: Il benchmark comprende 83.850 immagini, ognuna delle quali presenta una stringa alfanumerica di due caratteri inserita in un pattern a punti stile Ishihara.
• Pipeline di Generazione:
  1. Mascheratura del Testo: Una maschera binaria di 900x900 pixel viene generata per le stringhe di due caratteri utilizzando la libreria Pygame con un font DejaVu Sans grassetto e corsivo.
  2. Selezione del Colore: Sono state selezionate 25 coppie di colori foreground-background distinte attraverso un processo multi-stadio. Questo ha comportato un'analisi quantitativa tramite la formula della differenza di colore CIEDE2000 ($\Delta E_{2000}$) per garantire un equilibrio nella difficoltà percettiva, seguita da una verifica manuale per garantire la leggibilità umana.
  3. Rendering del Pattern: Un generatore iterativo popola l'immagine con cerchi non sovrapposti (4–15 pixel). I cerchi all'interno della regione del carattere ricevono un colore di foreground, mentre gli altri ricevono un colore di background. Questi colori subiscono trasformazioni casuali (shift di gradiente, shift RGB e scaling della luminosità) per creare pattern densi e impegnativi.
• Design del Task: Il benchmark include due task di riconoscimento:
  • Task Numerico: Numeri a due cifre (ad es. "17"), con uno spazio di etichette di 90 possibilità.
  • Task Alfanumerico: Stringhe alfanumeriche di due caratteri (ad es. "A7", "9b"), con uno spazio di etichette di 3.364 possibilità (escludendo caratteri visivamente ambigui come 'l', 'I', 'J', 'O').
• Condizioni di Controllo: Per separare l'aggregazione percettiva dal riconoscimento dei caratteri, i modelli sono valutati anche sulle Maschere di Testo binarie (task di controllo) insieme ai Pattern Ishihara.

Setup Sperimentale

• Modelli Valutati: Sono stati testati nove MLLM allo stato dell'arte, inclusi modelli commerciali basati su API (GPT-4.1, GPT-4.1 mini, Claude 3.7 Sonnet, Qwen VL Max, Pixtral) e modelli open-source (varianti di LLaVA-v1.6, Mistral-small3.1).
• Baseline:
  • Performance Umane: 16 volontari con visione dei colori normale hanno valutato 100 immagini per task.
  • Computer Vision Tradizionale: Un modello ResNet50 fine-tuned (addestrato su 2.000 campioni) è servito come baseline di computer vision.
• Protocollo di Valutazione: Ai modelli è stato chiesto di produrre l'esatto testo in un formato rigoroso. Le performance sono state misurate tramite l'accuratezza di corrispondenza esatta (exact-match accuracy). Lo studio ha incluso anche studi di ablazione sulla risoluzione dell'immagine e indagini sull'apprendimento in-context e sulle capacità di fine-tuning.

Risultati Chiave

Gap di Performance

La valutazione rivela un netto deficit di performance nei MLLM rispetto alle baseline umane e di computer vision tradizionale:

• Baseline Umana: Ha raggiunto una performance quasi massima (99,37% sul numerico, 93,25% sull'alfanumerico).
• Baseline ResNet50: Ha raggiunto un'alta accuratezza (96,5% sul numerico, 94,5% sull'alfanumerico), dimostrando che il task è risolvibile per architetture capaci di apprendere caratteristiche fine-grained.
• Performance MLLM:
  • Task Numerico: Il modello con le migliori prestazioni (GPT-4.1) ha ottenuto solo il 33,6% di accuratezza. Altri modelli sono variati dal 19,0% fino a quasi lo 0%.
  • Task Alfanumerico: La performance è crollata ulteriormente. GPT-4.1 ha ottenuto solo il 3,0%, mentre la maggior parte degli altri modelli ha segnato lo 0% o quasi zero.
  • OCR vs. Percezione: Mentre i modelli mantenevano un'alta accuratezza (>80%) sulle Maschere di Testo binarie (dimostrando un OCR funzionale), le loro performance sono precipitate sui Pattern Ishihara. Ciò indica che il fallimento è radicato nell'aggregazione percettiva e nell'estrazione di feature dal clutter, non nel riconoscimento dei caratteri in sé.

Modalità di Fallimento

L'analisi qualitativa ha identificato tre distinti pattern di fallimento nei MLLM:

1. Allucinazione: Generazione di testo non correlato e eccessivamente complesso (ad es. frasi come "MUST SEE") quando l'elaborazione visiva è sovraccaricata.
2. Evasione: Descrizione dell'immagine come un "test del colore" o dichiarazione esplicita dell'incapacità di eseguire il task, invece di tentare un tentativo.
3. Output Erratici: Produzione di stringhe casuali, pattern ripetitivi o numeri privi di senso, indicando una mancanza di estrazione stabile delle feature visive.

Ulteriori Scoperte

• In-Context Learning: Fornire esempi few-shot non ha migliorato le performance; in molti casi, ha degradato i risultati, suggerendo che la complessità visiva degli esempi introduce rumore.
• Fine-Tuning: Il fine-tuning di un modello (Gemma-3-4B) sulle immagini con pattern non ha migliorato le performance e ha addirittura distrutto la sua capacità di risolvere il semplice task della maschera, indicando che i modelli hanno imparato a produrre stringhe plausibili piuttosto che apprendere la capacità percettiva.
• Ablazione della Risoluzione: Abbassare la risoluzione dell'immagine (downsampling) ha inaspettatamente migliorato le performance per il miglior modello (GPT-4.1), suggerendo che il downsampling agisce come un filtro passa-basso che smussa il rumore ad alta frequenza, rendendo le forme dei caratteri più salienti.
• Correlazione con il Mondo Reale: È stata trovata una forte correlazione positiva ($\rho = 0,82$) tra le performance di HueManity e le classifiche nel benchmark Vision Arena, suggerendo che i deficit percettivi fine-grained correlano con la performance generale nei task multimodali del mondo reale.

Significato e Rivendicazioni

Il paper sostiene che HueManity esponga una debolezza critica nel grounding percettivo degli attuali MLLM. Gli autori sostengono che:

1. Limitazioni Architetturali: Il fallimento è probabilmente dovuto a colli di bottiglia architettonici (ad es. i Vision Transformer che dividono le immagini in patch, i layer di proiezione che agiscono come colli di bottiglia informativi) e obiettivi di pre-training ottimizzati per la semantica di alto livello piuttosto che per il dettaglio di basso livello.
2. Utilità Diagnostica: Il benchmark funge da potente strumento diagnostico. La forte correlazione con i benchmark del mondo reale implica che migliorare la percezione fine-grained è essenziale per l'impiego dei MLLM in applicazioni critiche per la sicurezza.
3. Direzione della Ricerca: Le scoperte suggeriscono che gli attuali modelli non possono semplicemente "imparare" queste abilità attraverso il fine-tuning standard o l'in-context learning. Il lavoro futuro deve concentrarsi su nuove architetture che preservino l'informazione visiva di basso livello e su obiettivi di training che promuovano esplicitamente un'acuità visiva robusta indipendente dal ragionamento semantico.

Gli autori rilasciano il dataset e il codice di generazione per facilitare la ricerca riproducibile e le estensioni della comunità in questo dominio.