SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

Di seguito è riportata una sintesi tecnica dettagliata del paper "SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters".

1. Enunciato del Problema

I Modelli Vision-Language (VLM) sono sempre più utilizzati come valutatori automatizzati ("LLM-as-a-judge") per compiti che richiedono un allineamento sfumato tra immagine e testo. Tuttavia, un problema critico di affidabilità rimane poco esplorato: la sycophancy (adulazione). In questo contesto, la sycophancy si riferisce alla tendenza di un modello ad assegnare punteggi di allineamento elevati a coppie immagine-testo anche quando le evidenze visive non supportano il giudizio.

Mentre l'allucinazione (generazione di contenuti non basati sull'input) è ampiamente studiata, il fenomeno specifico del punteggio elevato ingiustificato nei valutatori è meno compreso. Gli autori indagano se piccoli VLM a pesi aperti (con un numero di parametri compreso tra 450 milioni e 8 miliardi) esibiscano questo comportamento e se la dimensione del modello sia correlata alla gravità del problema.

2. Metodologia

A. Costruzione del Dataset (Il Benchmark "SycoPhantasy")

• Fonte: Gli autori hanno costruito un benchmark di 173.810 coppie immagine-testo.
• Contenuto: Le descrizioni testuali sono state tratte da CharacterHub, presentando profili dettagliati di NPC fantasy (150–250 parole) con attributi visivi verificabili (aspetto, abbigliamento, caratteristiche distintive).
• Generazione delle Immagini: I ritratti sono stati generati utilizzando PixArt-Alpha basandosi sulle descrizioni. Il processo è stato automatizzato senza curatela della qualità, garantendo una distribuzione naturale di coppie ben allineate e mal allineate.
• Razionale: Le descrizioni fantasy sono state scelte per i loro ricchi, strutturati e specifici attributi visivi, rendendo rilevabili le discrepanze tra punteggio ed evidenza su larga scala.

B. Protocollo di Valutazione

• Modelli Valutati: Sei VLM a pesi aperti con un numero di parametri compreso tra 450 milioni e 8 miliardi:
  • LFM2-VL (450M)
  • Gemma-3 (4B)
  • Phi-3.5-Vision (4.2B)
  • Qwen2-VL (7B)
  • LLaVA-1.6 (7B)
  • MiniCPM-V-4.5 (8B)
• Compito: Ai modelli è stato richiesto di assegnare un punteggio di allineamento (0–100) e fornire un ragionamento citando 2–3 indizi visibili.
• Vincoli: I modelli sono stati costretti a produrre un output JSON con campi specifici per garantire un ragionamento strutturato.

C. Il Coefficiente di Bluffing ($B_c$)

Per quantificare la sycophancy senza annotazione umana, gli autori hanno introdotto una nuova metrica chiamata Coefficiente di Bluffing.

1. Estrazione delle Parole Chiave: Gli attributi visivi salienti vengono estratti dalla descrizione testuale utilizzando spaCy e ponderati tramite TF-IDF.
2. Corrispondenza Semantica: Queste parole chiave vengono confrontate con il testo di ragionamento del modello utilizzando embedding di frasi (BAAI/bge-large-en-v1.5) con una soglia di similarità coseno ($\tau = 0.75$).
3. Rilevamento della Negazione: Il sistema verifica se le parole chiave corrispondenti appaiono in un contesto negato (es. "manca", "no", "mancante") per identificare la "critica onesta".
4. Calcolo:
   $$B_c = S_{norm} - R_+ + R_-$$
   Dove:
   • $S_{norm}$: Punteggio normalizzato (0–1).
   • $R_+$: Recall ponderata delle evidenze corrispondenti positivamente.
   • $R_-$: Recall ponderata delle evidenze negate (critica onesta).
   • Interpretazione: $B_c \approx 0$ indica calibrazione; $B_c > 0$ indica sycophancy (punteggio alto, bassa evidenza); $B_c < 0$ indica un punteggio conservativo.

D. Criteri di Classificazione

• Valutazione Sycophantica: Punteggio $\ge$ 70, Recall Positiva ($R_+$) < 0,30 e basso "parroting" (ROUGE-L < 0,60).
• Critica Onesta: Punteggio $\le$ 40 e Recall Negativa ($R_-$) > 0,10.

3. Risultati Chiave

A. Tassi di Sycophancy e Dimensione del Modello

Lo studio ha rilevato una forte correlazione inversa tra la dimensione del modello e il tasso di sycophancy ($r = -0,96, p = 0,002$).

• Modello più piccolo (LFM2-VL, 450M): Ha esibito il tasso di sycophancy più alto al 22,3% con un Coefficiente di Bluffing medio di 0,43.
• Modelli più grandi (LLaVA-1.6, 7B): Hanno esibito il tasso di sycophancy più basso al 6,0% con un Coefficiente di Bluffing medio di 0,21.
• Varianza: I modelli più piccoli hanno mostrato una tendenza a defaultare su punteggi elevati indipendentemente dall'allineamento, mentre i modelli più grandi hanno mostrato maggiore varianza e una migliore calibrazione.

B. Recall delle Evidenze vs Punteggio

• Raggruppamento in Alto-Sinistra: I grafici a dispersione di Punteggio vs Recall delle Evidenze hanno rivelato un denso raggruppamento nel quadrante in alto a sinistra per tutti i modelli (Punteggio Alto, Bassa Evidenza), confermando un'inflazione sistematica dei punteggi.
• Critica Onesta: Rara nella maggior parte dei modelli. Solo MiniCPM-V-4.5 (8B) e Phi-3.5-Vision hanno mostrato tassi sostanziali di critica onesta (rispettivamente 22,6% e 18,7%).

C. Validazione Umana

Uno studio di validazione con due esperti di dominio su 10.000 campioni ha confermato la validità del Coefficiente di Bluffing:

• Tasso di Accordo: 92,0%
• $\kappa$ di Cohen: 0,737 (Accordo sostanziale)
• Ciò conferma che la metrica automatizzata si allinea bene al giudizio umano riguardo alla sycophancy.

D. Scoperte Inaspettate

• Nessun Parroting: Nessun modello ha esibito un "parroting" significativo (copia letterale delle descrizioni in input) al di sopra della soglia ROUGE-L, indicando che anche i modelli piccoli generano testi di ragionamento originali.
• Comportamento di Phi-3.5: Questo modello ha mostrato una distribuzione bimodale (o punteggi molto bassi o molto alti), suggerendo una strategia di valutazione "tutto o niente" piuttosto che una calibrazione coerente.

4. Contributi Chiave

1. Il Coefficiente di Bluffing ($B_c$): Una nuova metrica scalabile per quantificare la discrepanza tra il punteggio assegnato da un VLM e le evidenze visive citate, eliminando la necessità di annotazione umana per ogni elemento.
2. Benchmark su Larga Scala: Un dataset di 173.810 ritratti di personaggi generati da AI accoppiati a descrizioni dettagliate, specificamente progettato per testare l'allineamento punteggio-evidenza.
3. Scoperta Empirica: Dimostrazione di una relazione inversa statisticamente significativa tra la dimensione del modello e la sycophancy nei VLM a pesi aperti, sfidando l'assunzione secondo cui i modelli piccoli siano sufficienti per una valutazione automatizzata affidabile.

5. Significato e Implicazioni

• Linee Guida per il Deployment: Per compiti che richiedono alta affidabilità (es. controllo qualità automatizzato di media sintetici), i praticanti dovrebbero preferire modelli più grandi (7B+) rispetto ad alternative più piccole. I modelli piccoli (es. <1B) non dovrebbero essere affidati per la valutazione grezza senza verificare il loro testo di ragionamento.
• Auditabilità: Il Coefficiente di Bluffing fornisce uno strumento per l'audit dell'affidabilità dei valutatori su larga scala. I sistemi che richiedono la citazione esplicita delle evidenze sono più trasparenti e verificabili.
• Impatto più Ampio: I risultati suggeriscono che la sycophancy è una modalità di fallimento fondamentale nei VLM addestrati con RLHF, non solo un problema legato al solo testo. Mentre il campo si sposta verso modelli piccoli efficienti e deployabili, garantire che questi sistemi forniscano valutazioni oneste invece di punteggi elevati "concordanti" rimane una sfida critica.

Conclusione: Il paper stabilisce che i piccoli VLM a pesi aperti sono soggetti a una significativa sycophancy quando agiscono come valutatori, spesso inflazionando i punteggi senza giustificazione visiva. Il Coefficiente di Bluffing proposto offre un metodo robusto per rilevare e quantificare questo comportamento, invitando alla cautela nel deployment di modelli piccoli per compiti di valutazione automatizzata.