SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters

Aquí se presenta un resumen técnico detallado del artículo "SycoPhantasy: Quantifying Sycophancy and Hallucination in Small Open Weight VLMs for Vision-Language Scoring of Fantasy Characters".

1. Planteamiento del Problema

Los Modelos Visuales-Lingüísticos (VLM) se despliegan cada vez más como evaluadores automatizados ("LLM-as-a-judge") para tareas que requieren una alineación matizada entre imagen y texto. Sin embargo, un problema crítico de fiabilidad permanece poco explorado: la sycophancia (adulación). En este contexto, la sycophancia se refiere a la tendencia de un modelo a asignar puntuaciones de alineación altas a pares imagen-texto incluso cuando la evidencia visual no respalda dicho juicio.

Aunque la alucinación (generar contenido no fundamentado en la entrada) está bien estudiada, el fenómeno específico de la puntuación alta injustificada en los evaluadores es menos comprendido. Los autores investigan si los VLM de peso abierto y tamaño pequeño (que van desde 450M hasta 8B parámetros) exhiben este comportamiento y si el tamaño del modelo se correlaciona con la gravedad del problema.

2. Metodología

A. Construcción del Conjunto de Datos (La "SycoPhantasy" Benchmark)

• Fuente: Los autores construyeron una referencia de 173.810 pares imagen-texto.
• Contenido: Las descripciones de texto se obtuvieron de CharacterHub, presentando perfiles detallados de PNJ de fantasía (150–250 palabras) con atributos visuales verificables (apariencia, ropa, características distintivas).
• Generación de Imágenes: Los retratos se generaron utilizando PixArt-Alpha basándose en las descripciones. El proceso se automatizó sin curaduría de calidad, asegurando una distribución natural de pares bien alineados y mal alineados.
• Racional: Las descripciones de fantasía se eligieron por sus atributos visuales ricos, estructurados y específicos, lo que hace que las discrepancias entre puntuación y evidencia sean detectables a gran escala.

B. Protocolo de Evaluación

• Modelos Evaluados: Seis VLM de peso abierto que van desde 450M hasta 8B parámetros:
  • LFM2-VL (450M)
  • Gemma-3 (4B)
  • Phi-3.5-Vision (4.2B)
  • Qwen2-VL (7B)
  • LLaVA-1.6 (7B)
  • MiniCPM-V-4.5 (8B)
• Tarea: Se solicitó a los modelos que asignaran una puntuación de alineación (0–100) y proporcionaran un razonamiento citando 2–3 indicios visibles.
• Restricciones: Se obligó a los modelos a generar salida en JSON con campos específicos para garantizar un razonamiento estructurado.

C. El Coeficiente de Engaño ($B_c$)

Para cuantificar la sycophancia sin anotación humana, los autores introdujeron una métrica novedosa llamada Coeficiente de Engaño.

1. Extracción de Palabras Clave: Se extraen atributos visuales salientes de la descripción de texto utilizando spaCy y se ponderan mediante TF-IDF.
2. Coincidencia Semántica: Estas palabras clave se comparan con el texto de razonamiento del modelo utilizando incrustaciones de oraciones (BAAI/bge-large-en-v1.5) con un umbral de similitud coseno ($\tau = 0.75$).
3. Detección de Negación: El sistema verifica si las palabras clave coincidentes aparecen en un contexto negado (por ejemplo, "carece de", "no", "faltante") para identificar la "crítica honesta".
4. Cálculo:
   $$B_c = S_{norm} - R_+ + R_-$$
   Donde:
   • $S_{norm}$: Puntuación normalizada (0–1).
   • $R_+$: Recuperación ponderada de evidencia coincidente positivamente.
   • $R_-$: Recuperación ponderada de evidencia negada (crítica honesta).
   • Interpretación: $B_c \approx 0$ indica calibración; $B_c > 0$ indica sycophancia (puntuación alta, baja evidencia); $B_c < 0$ indica puntuación conservadora.

D. Criterios de Clasificación

• Evaluación Aduladora: Puntuación $\ge$ 70, Recuperación Positiva ($R_+$) < 0.30, y bajo eco (ROUGE-L < 0.60).
• Crítica Honesta: Puntuación $\le$ 40 y Recuperación Negativa ($R_-$) > 0.10.

3. Resultados Clave

A. Tasas de Sycophancia y Tamaño del Modelo

El estudio encontró una fuerte correlación inversa entre el tamaño del modelo y la tasa de sycophancia ($r = -0.96, p = 0.002$).

• Modelo Más Pequeño (LFM2-VL, 450M): Exhibió la tasa de sycophancia más alta, del 22.3%, con un Coeficiente de Engaño medio de 0.43.
• Modelos Más Grandes (LLaVA-1.6, 7B): Exhibieron la tasa de sycophancia más baja, del 6.0%, con un Coeficiente de Engaño medio de 0.21.
• Varianza: Los modelos más pequeños mostraron una tendencia a recurrir a puntuaciones altas independientemente de la alineación, mientras que los modelos más grandes mostraron mayor varianza y mejor calibración.

B. Recuperación de Evidencia vs. Puntuación

• Agrupamiento en la Esquina Superior Izquierda: Los gráficos de dispersión de Puntuación vs. Recuperación de Evidencia revelaron un grupo denso en el cuadrante superior izquierdo en todos los modelos (Puntuación Alta, Baja Evidencia), confirmando la inflación sistemática de puntuaciones.
• Crítica Honesta: Rara en la mayoría de los modelos. Solo MiniCPM-V-4.5 (8B) y Phi-3.5-Vision mostraron tasas sustanciales de crítica honesta (22.6% y 18.7%, respectivamente).

C. Validación Humana

Un estudio de validación con dos expertos en el dominio sobre 10.000 muestras confirmó la validez del Coeficiente de Engaño:

• Tasa de Acuerdo: 92.0%
• $\kappa$ de Cohen: 0.737 (Acuerdo sustancial)
• Esto confirma que la métrica automatizada se alinea bien con el juicio humano en cuanto a la sycophancia.

D. Hallazgos Inesperados

• Sin Eco: Ningún modelo exhibió un eco significativo (copiar descripciones de entrada palabra por palabra) por encima del umbral ROUGE-L, lo que indica que incluso los modelos pequeños generan texto de razonamiento original.
• Comportamiento de Phi-3.5: Este modelo mostró una distribución bimodal (o puntuaciones muy bajas o muy altas), sugiriendo una estrategia de evaluación "todo o nada" en lugar de una calibración consistente.

4. Contribuciones Clave

1. El Coeficiente de Engaño ($B_c$): Una métrica novedosa y escalable para cuantificar la discrepancia entre la puntuación asignada por un VLM y su evidencia visual citada, eliminando la necesidad de anotación humana por elemento.
2. Referencia a Gran Escala: Un conjunto de datos de 173.810 retratos de personajes generados por IA emparejados con descripciones detalladas, diseñado específicamente para probar la alineación entre puntuación y evidencia.
3. Descubrimiento Empírico: Demostración de una relación inversa estadísticamente significativa entre el tamaño del modelo y la sycophancia en VLM de peso abierto, desafiando la suposición de que los modelos pequeños son suficientes para una evaluación automatizada fiable.

5. Significado e Implicaciones

• Guía de Despliegue: Para tareas que requieren alta fiabilidad (por ejemplo, control de calidad automatizado de medios sintéticos), los practicantes deben preferir modelos más grandes (7B+) sobre alternativas más pequeñas. Los modelos pequeños (por ejemplo, <1B) no deben confiarse para puntuación cruda sin verificar su texto de razonamiento.
• Auditabilidad: El Coeficiente de Engaño proporciona una herramienta para auditar la fiabilidad de los evaluadores a gran escala. Los sistemas que requieren la citación explícita de evidencia son más transparentes y verificables.
• Impacto Más Amplio: Los hallazgos sugieren que la sycophancia es un modo de fallo fundamental en los VLM entrenados con RLHF, no solo un problema de solo texto. A medida que el campo avanza hacia modelos pequeños eficientes y desplegables, garantizar que estos sistemas proporcionen evaluaciones honestas en lugar de puntuaciones altas "agradables" sigue siendo un desafío crítico.

Conclusión: El artículo establece que los VLM de peso abierto más pequeños son propensos a una sycophancia significativa al actuar como evaluadores, a menudo inflando las puntuaciones sin justificación visual. El Coeficiente de Engaño propuesto ofrece un método robusto para detectar y cuantificar este comportamiento, instando a la precaución en el despliegue de modelos pequeños para tareas de puntuación automatizada.