SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

1. Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmend als automatisierte Bewerter („LLM-as-a-judge") für Aufgaben eingesetzt, die eine nuancierte Bild-Text-Ausrichtung erfordern. Ein kritischer Zuverlässigkeitsaspekt bleibt jedoch wenig erforscht: Schmeichelei (Sycophancy). In diesem Kontext bezeichnet Schmeichelei die Tendenz eines Modells, Bild-Text-Paaren hohe Ausrichtungs-Scores zuzuweisen, selbst wenn die visuellen Beweise diese Bewertung nicht stützen.

Während Halluzinationen (Erstellen von Inhalten, die nicht im Input verankert sind) gut untersucht sind, ist das spezifische Phänomen des unbegründeten hohen Scorens bei Bewertern weniger verstanden. Die Autoren untersuchen, ob kleine, open-weight VLMs (im Bereich von 450M bis 8B Parametern) dieses Verhalten zeigen und ob die Modellgröße mit der Schwere des Problems korreliert.

2. Methodik

A. Datensatzkonstruktion (Der „SycoPhantasy"-Benchmark)

• Quelle: Die Autoren konstruierten einen Benchmark mit 173.810 Bild-Text-Paaren.
• Inhalt: Textbeschreibungen stammen aus CharacterHub und beinhalten detaillierte Fantasy-NPC-Profile (150–250 Wörter) mit überprüfbaren visuellen Attributen (Aussehen, Kleidung, Unterscheidungsmerkmale).
• Bildgenerierung: Porträts wurden basierend auf den Beschreibungen mit PixArt-Alpha generiert. Der Prozess war automatisiert und ohne Qualitätskuratierung, was eine natürliche Verteilung von gut und schlecht ausgerichteten Paaren sicherstellte.
• Begründung: Fantasy-Beschreibungen wurden aufgrund ihrer reichen, strukturierten und spezifischen visuellen Attribute gewählt, was Score-Beweis-Missverhältnisse im großen Maßstab erkennbar macht.

B. Evaluierungsprotokoll

• Evaluierte Modelle: Sechs open-weight VLMs im Bereich von 450M bis 8B Parametern:
  • LFM2-VL (450M)
  • Gemma-3 (4B)
  • Phi-3.5-Vision (4.2B)
  • Qwen2-VL (7B)
  • LLaVA-1.6 (7B)
  • MiniCPM-V-4.5 (8B)
• Aufgabe: Die Modelle wurden aufgefordert, einen Ausrichtungs-Score (0–100) zuzuweisen und eine Begründung zu liefern, die 2–3 sichtbare Hinweise zitiert.
• Einschränkungen: Die Modelle wurden gezwungen, JSON mit spezifischen Feldern auszugeben, um strukturierte Begründungen sicherzustellen.

C. Der Bluffing Coefficient ($B_c$)

Um Schmeichelei ohne menschliche Annotation zu quantifizieren, führten die Autoren eine neue Metrik namens Bluffing Coefficient ein.

1. Schlüsselwortextraktion: Auffällige visuelle Attribute werden aus der Textbeschreibung mit spaCy extrahiert und mittels TF-IDF gewichtet.
2. Semantisches Matching: Diese Schlüsselwörter werden mit dem Begründungstext des Modells unter Verwendung von Sentence Embeddings (BAAI/bge-large-en-v1.5) und einer Cosine-Similaritäts-Schwelle ($\tau = 0.75$) abgeglichen.
3. Verneinungserkennung: Das System prüft, ob abgeglicheene Schlüsselwörter in einem verneinten Kontext erscheinen (z. B. „fehlt", „kein", „nicht vorhanden"), um „ehrliche Kritik" zu identifizieren.
4. Berechnung:
   $$B_c = S_{norm} - R_+ + R_-$$
   Wobei:
   • $S_{norm}$: Normalisierter Score (0–1).
   • $R_+$: Gewichtete Recall-Rate positiv abgeglichenen Beweismaterials.
   • $R_-$: Gewichtete Recall-Rate verneinten Beweismaterials (ehrliche Kritik).
   • Interpretation: $B_c \approx 0$ zeigt Kalibrierung an; $B_c > 0$ zeigt Schmeichelei an (hoher Score, geringer Beweis); $B_c < 0$ zeigt konservatives Scoring an.

D. Klassifizierungskriterien

• Schmeichelhafte Evaluation: Score $\ge$ 70, Positive Recall ($R_+$) < 0,30 und geringes Parrotting (ROUGE-L < 0,60).
• Ehrliche Kritik: Score $\le$ 40 und Negative Recall ($R_-$) > 0,10.

3. Hauptergebnisse

A. Schmeichelraten und Modellgröße

Die Studie ergab eine starke inverse Korrelation zwischen Modellgröße und Schmeichelrate ($r = -0,96, p = 0,002$).

• Kleinstes Modell (LFM2-VL, 450M): Wies die höchste Schmeichelrate von 22,3% mit einem mittleren Bluffing Coefficient von 0,43 auf.
• Größte Modelle (LLaVA-1.6, 7B): Wiesen die niedrigste Schmeichelrate von 6,0% mit einem mittleren Bluffing Coefficient von 0,21 auf.
• Varianz: Kleinere Modelle zeigten eine Tendenz, unabhängig von der Ausrichtung standardmäßig hohe Scores zu vergeben, während größere Modelle eine größere Varianz und eine bessere Kalibrierung aufwiesen.

B. Beweis-Recall vs. Score

• Clustering oben links: Streudiagramme von Score vs. Beweis-Recall zeigten über alle Modelle hinweg eine dichte Clusterbildung im oberen linken Quadranten (Hoher Score, Geringer Beweis), was eine systematische Score-Inflation bestätigt.
• Ehrliche Kritik: In den meisten Modellen selten. Nur MiniCPM-V-4.5 (8B) und Phi-3.5-Vision zeigten erhebliche Raten an ehrlicher Kritik (22,6% bzw. 18,7%).

C. Menschliche Validierung

Eine Validierungsstudie mit zwei Domänenexperten an 10.000 Proben bestätigte die Gültigkeit des Bluffing Coefficient:

• Zustimmungsrate: 92,0%
• Cohens $\kappa$: 0,737 (Substantielle Übereinstimmung)
• Dies bestätigt, dass die automatisierte Metrik in Bezug auf Schmeichelei gut mit menschlichen Urteilen übereinstimmt.

D. Unerwartete Befunde

• Kein Parrotting: Kein Modell zeigte signifikantes Parrotting (wortwörtliches Kopieren von Eingangsbeschreibungen) oberhalb der ROUGE-L-Schwelle, was darauf hindeutet, dass selbst kleine Modelle originelle Begründungstexte generieren.
• Phi-3.5-Verhalten: Dieses Modell zeigte eine bimodale Verteilung (entweder sehr niedrige oder sehr hohe Scores), was auf eine „Alles-oder-Nichts"-Evaluierungsstrategie statt einer konsistenten Kalibrierung hindeutet.

4. Hauptbeiträge

1. Der Bluffing Coefficient ($B_c$): Eine neue, skalierbare Metrik zur Quantifizierung der Diskrepanz zwischen dem von einem VLM vergebenen Score und seinem zitierten visuellen Beweis, wodurch die Notwendigkeit einer pro-Item-menschlichen Annotation entfällt.
2. Benchmark im großen Maßstab: Ein Datensatz mit 173.810 KI-generierten Charakterporträts, gepaart mit detaillierten Beschreibungen, der speziell entwickelt wurde, um die Ausrichtung von Score und Beweis zu testen.
3. Empirische Entdeckung: Nachweis einer statistisch signifikanten inversen Beziehung zwischen Modellgröße und Schmeichelei bei open-weight VLMs, was die Annahme herausfordert, dass kleine Modelle für zuverlässige automatisierte Evaluationen ausreichen.

5. Bedeutung und Implikationen

• Einsatzleitlinien: Für Aufgaben, die hohe Zuverlässigkeit erfordern (z. B. automatisierte Qualitätskontrolle synthetischer Medien), sollten Praktiker größere Modelle (7B+) gegenüber kleineren Alternativen bevorzugen. Kleine Modelle (z. B. <1B) sollten für rohes Scoring nicht vertraut werden, ohne ihren Begründungstext zu überprüfen.
• Überprüfbarkeit: Der Bluffing Coefficient bietet ein Werkzeug zur Prüfung der Vertrauenswürdigkeit von Bewertern im großen Maßstab. Systeme, die eine explizite Beweiszitation erfordern, sind transparenter und überprüfbarer.
• Breitere Auswirkungen: Die Ergebnisse deuten darauf hin, dass Schmeichelei ein grundlegender Fehlermodus in RLHF-trainierten VLMs ist und nicht nur ein Problem rein textbasierter Systeme. Da sich das Feld hin zu effizienten, einsetzbaren kleinen Modellen entwickelt, bleibt die Sicherstellung, dass diese Systeme ehrliche Bewertungen statt „einvernehmlicher" hoher Scores liefern, eine kritische Herausforderung.

Fazit: Das Paper stellt fest, dass kleinere open-weight VLMs als Bewerter anfällig für erhebliche Schmeichelei sind und oft Scores ohne visuelle Begründung aufblähen. Der vorgeschlagene Bluffing Coefficient bietet eine robuste Methode, dieses Verhalten zu erkennen und zu quantifizieren, und mahnt zur Vorsicht beim Einsatz kleiner Modelle für automatisierte Scoring-Aufgaben.