💬 NLP

BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model

El artículo introduce BEiTScore, una métrica de evaluación de descripción de imágenes sin referencia que aprovecha un modelo cruzado ligero entrenado con datos aumentados mediante LLM adversarios para lograr un rendimiento de vanguardia en sensibilidad y generalización composicional, manteniendo al mismo tiempo la eficiencia computacional.

Autores originales: Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

Publicado 2026-05-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un crítico de arte tratando de calificar la descripción de un cuadro hecha por un estudiante. El estudiante dice: "Un perro rojo está persiguiendo una pelota azul". Pero en el cuadro, el perro en realidad es azul y persigue una pelota roja.

Durante mucho tiempo, las computadoras que intentaban calificar estas descripciones han sido como críticos que solo miran la lista de palabras utilizadas, no la historia que cuentan. Si la lista de palabras del estudiante coincide con la lista de palabras del cuadro (rojo, perro, azul, pelota), la computadora otorga una calificación alta, incluso si la descripción está completamente equivocada. Esto es como un maestro que le da una "A" a un estudiante que escribió "La pelota azul persiguió al perro rojo" solo porque usó el vocabulario correcto, ignorando que la oración no tiene sentido.

Este artículo introduce un nuevo sistema de calificación más inteligente llamado BEiTScore. Así es como funciona, desglosado de forma sencilla:

1. El Problema: La Trampa de la "Bolsa de Palabras"

La mayoría de los programas informáticos actuales que verifican descripciones de imágenes (como los modelos basados en CLIP) tratan las oraciones como una bolsa de canicas. Cuentan cuántas canicas "rojas" o "perro" hay en la bolsa. Si la bolsa tiene las canicas correctas, asumen que la descripción es buena.

El Defecto: No pueden distinguir entre "El perro persiguió al gato" y "El gato persiguió al perro". También tienen dificultades con historias largas. Si una descripción se vuelve demasiado larga (más de 77 palabras), estos programas a menudo dejan de leer y simplemente adivinan, perdiendo los detalles al final.

2. La Solución: Un Modelo "Detective"

Los autores construyeron BEiTScore, que actúa menos como un contador de palabras y más como un detective.

Cómo piensa: En lugar de solo mirar una lista de palabras, observa la imagen completa y la oración completa juntas al mismo tiempo. Se pregunta: "¿Esta palabra específica encaja en este lugar específico en esta imagen específica?".
El Entrenamiento: Para enseñar a este detective, los autores no solo le mostraron descripciones correctas. Utilizaron a un "villano" (una IA poderosa) para generar descripciones falsas y engañosas.
- Ejemplo: La IA tomaría una oración correcta y cambiaría los roles: "El hombre está sosteniendo a la mujer" se convierte en "La mujer está sosteniendo al hombre".
- El modelo BEiTScore fue entrenado para detectar estos trucos sutiles, aprendiendo a prestar atención a quién hace qué a quién, no solo a qué objetos están presentes.

3. El Desafío de la "Historia Larga"

Imagina intentar leer una novela, pero tus ojos solo pueden enfocarse en las dos primeras oraciones antes de cansarse. Eso es lo que hacen los modelos antiguos con las leyendas largas.

Superpoder de BEiTScore: Fue entrenado con historias largas y detalladas sobre imágenes. Puede leer toda la leyenda, desde la primera palabra hasta la última, sin "cansarse" ni perder el enfoque. Puede detectar errores que ocurren profundamente en el medio o al final mismo de una descripción larga, los cuales otros modelos pasan por alto.

4. Los Resultados: Más Inteligente y Más Rápido

El artículo probó BEiTScore contra dos tipos de competidores:

Los "Contadores de Palabras" (Codificadores): Estos son rápidos, pero a menudo cometen errores tontos con los detalles.
Los "Gigantes Inteligentes" (LLM): Estos son modelos enormes y superinteligentes que pueden leer historias largas y detectar detalles, pero son lentos y costosos de ejecutar (como usar un superordenador para revisar una lista de compras).

Logro de BEiTScore:

Detectó más errores que los "Contadores de Palabras".
Fue casi tan bueno como los "Gigantes Inteligentes" para detectar errores complejos (como cambiar roles o contar objetos).
La Mejor Parte: Funciona 30 a 100 veces más rápido que los Gigantes Inteligentes. Es como tener un detective tan agudo como un genio pero que trabaja a la velocidad de una persona normal.

5. La Nueva Prueba (LongCapVLCP)

Los autores se dieron cuenta de que las pruebas antiguas eran demasiado fáciles; solo usaban oraciones cortas. Así que construyeron una nueva prueba más difícil llamada LongCapVLCP.

Esta prueba utiliza descripciones muy largas e incluye errores engañosos como texto escrito dentro de la imagen (por ejemplo, un letrero en el fondo que dice "Abierto").
En esta nueva y difícil prueba, BEiTScore demostró que podía leer el texto largo y detectar los errores, mientras que los antiguos "Contadores de Palabras" fallaron completamente.

Resumen

BEiTScore es una nueva herramienta para calificar descripciones de imágenes. Soluciona el viejo problema de que las computadoras solo cuenten palabras aprendiendo a entender las relaciones entre palabras e imágenes. Es lo suficientemente inteligente para detectar mentiras sutiles en descripciones largas, lo suficientemente rápida para usarse en miles de imágenes y no necesita superordenadores costosos y lentos para hacer el trabajo.

Resumen Técnico: BEiTScore

Enunciado del Problema

La evaluación de la generación de descripciones de imágenes enfrenta desafíos significativos a medida que los Modelos Visión-Lenguaje (VLM) evolucionan para generar descripciones extensas y ricas en contexto. Las métricas de evaluación actuales más avanzadas caen en dos categorías problemáticas:

Jueces basados en LLM: Si bien logran una alta correlación con los juicios humanos, incurren en costos computacionales prohibitivos y tiempos de inferencia largos, lo que las hace poco prácticas para la evaluación a gran escala o la decodificación consciente de la calidad en tiempo real.
Métricas basadas en codificadores (por ejemplo, CLIPScore): Estas son computacionalmente eficientes pero sufren limitaciones críticas. A menudo tratan las descripciones como "bolsas de palabras", careciendo de sensibilidad fina a las relaciones composicionales. Además, los modelos CLIP estándar están sesgados hacia descripciones cortas debido a las restricciones del preentrenamiento (típicamente un límite de 77 tokens), lo que conduce a un rendimiento deficiente en narrativas extensas y a una incapacidad para detectar errores sutiles visuales-lingüísticos.

Las métricas existentes sin referencia luchan por equilibrar la necesidad de una alta correlación con los juicios humanos, la capacidad de procesar descripciones largas y la detección de alucinaciones finas (por ejemplo, relaciones espaciales, vinculación de atributos, conteo) sin depender de LLM costosos.

Metodología

Los autores proponen BEiTScore, una nueva métrica de evaluación aprendida y sin referencia basada en una arquitectura ligera de codificador cruzado.

Arquitectura del Modelo

Modelo Base: La métrica utiliza la arquitectura BEiT-3, un modelo fundacional multimodal unificado que representa imágenes a través de tokens discretos análogos a los tokens de lenguaje.
Inicialización: El modelo se inicia en caliente desde un punto de control de Respuesta a Preguntas Visuales (VQA). Esto proporciona conocimiento previo beneficioso para el objetivo de alinear visión y lenguaje.
Salida: Una cabeza de regresión (una sola capa oculta con activación GeLU) procesa la salida de la atención multimodal para producir una puntuación en el rango $[0, 1]$ , que representa la calidad de la alineación entre una imagen y una descripción.

Estrategia de Entrenamiento

El esquema de entrenamiento emplea un currículo de dos etapas utilizando una mezcla de datos cuidadosamente ensamblada diseñada para exponer al modelo a relaciones visuales-lingüísticas diversas y complejas:

Etapa 1: Aprendizaje Contrastivo Pareado
- Objetivo: Discriminación binaria (identificar cuál de dos descripciones es factualmente consistente con una imagen).
- Datos: Una mezcla personalizada de conjuntos de datos que incluye Foil-It, TextCaps, Pixel-Prose y LocalizedNarratives.
- Aumento Adversarial: Para mejorar la sensibilidad a errores finos, los autores emplean una tubería de aumento de datos adversarial:
  - Perturbaciones basadas en LLM: Utilizando Qwen3, generan descripciones factualmente incorrectas pero fluidas modificando objetos, atributos, relaciones espaciales, acciones, roles actanciales y conteo.
  - Corrupción Sintética: Inspirados en el "Efecto Cobra", introducen corrupción de texto (mezcla de palabras/oraciones, repetición de partes del discurso) para contrarrestar los comportamientos de tipo "bolsa de palabras".
  - Minería de Negativos Difíciles: Selección basada en recuperación de descripciones incorrectas que producen puntuaciones de similitud altas para crear categorías de negativos fáciles, medios y difíciles.
- Entrenamiento Progresivo: El entrenamiento es iterativo, comenzando con razonamiento fundamental (espacial, roles, acciones), seguido de refinamiento cuantitativo (conteo) y finalmente integración de texto escénico.
Etapa 2: Ajuste Fino de Alineación
- Objetivo: Regresión para coincidir con puntuaciones continuas de juicio humano.
- Datos: Divisiones de entrenamiento de conjuntos de datos con calificaciones humanas, como VICR, POLOS, Nebula y EvalMuse-40k.
- Pérdida: Se utiliza la pérdida L1 para optimizar la alineación directa con las puntuaciones humanas normalizadas ( $q_i \in [0, 1]$ ).

Contribuciones Clave

Métrica BEiTScore: Una métrica de evaluación sin referencia que aprovecha un codificador cruzado ligero inicializado desde un punto de control de VQA. Logra un rendimiento de vanguardia mientras permanece significativamente más eficiente que las alternativas basadas en LLM (20–60 veces más pequeña y 30–100 veces más rápida).
Tubería de Entrenamiento Adversarial: Una estrategia novedosa de aumento de datos que utiliza LLM para generar negativos difíciles y corrupción de texto sintética, diseñada específicamente para entrenar modelos pequeños a detectar errores visuales-lingüísticos finos y estructuras composicionales.
BenchMark LongCapVLCP: Un nuevo benchmark diseñado para evaluar la evaluación detallada de descripciones más allá del límite de 77 tokens. Incluye:
- Narrativas Extensas: Evaluación del rendimiento en descripciones que superan los límites de tokens estándar.
- Reconocimiento de Texto Escénico: Una tarea específica para evaluar la capacidad de la métrica de mapear información textual dentro de una imagen a su mención en la descripción, un aspecto subrepresentado en trabajos anteriores.
- Categorías Diversas de Errores: Incluyendo intercambios actanciales, verbos de acción, conteo, relaciones espaciales y errores de texto escénico.

Resultados Experimentales

Los autores evaluaron BEiTScore en 11 benchmarks, comparándolo con métodos basados en codificadores (por ejemplo, CLIPScore, PAC-S, LongCLIP) y métodos basados en LLM (por ejemplo, EXPERT, FLEUR, VQAScore).

Correlación Humana: BEiTScore (específicamente la variante L/14) logra una correlación de Kendall's $\tau$ de vanguardia con los juicios humanos en múltiples conjuntos de datos (VICR, Polaris, Nebula, etc.), a menudo superando a métricas basadas en LLM como EXPERT y FLEUR.
Percepción Fina:
- Alucinación de Objetos (nocaps-FOIL): BEiTScore supera a los modelos basados en codificadores y iguala el rendimiento basado en LLM en la distinción de descripciones correctas de aquellas con alucinaciones de objetos.
- Alucinación de Atributos y Estructura (SugarCREPE): El modelo supera significativamente a los competidores basados en codificadores en tareas de "intercambio", demostrando una comprensión superior de la composición estructural y relacional.
- Razonamiento Composicional (VALSE & Winoground): BEiTScore destaca en tareas que requieren razonamiento holístico, como conteo, relaciones espaciales y comprensión de acciones, donde los codificadores tradicionales a menudo fallan.
Texto Extenso y Escénico (LongCapVLCP):
- Las métricas estándar basadas en codificadores (CLIP, PAC) funcionan al nivel del azar o cerca de él en descripciones que superan los 77 tokens o que contienen errores de texto escénico colocados después del límite de tokens.
- BEiTScore mantiene capacidades discriminatorias a lo largo de narrativas largas y maneja eficazmente el reconocimiento de texto escénico, igualando el rendimiento de la métrica basada en LLM EXPERT.
Eficiencia: A pesar de igualar o superar el rendimiento de métricas especializadas basadas en LLM, BEiTScore requiere significativamente menos GFLOPs (por ejemplo, 296 GFLOPs para BEiTScore-L/14 frente a ~9300 GFLOPs para EXPERT).

Significado y Afirmaciones

El artículo afirma que la dominancia de las métricas basadas en LLM en la evaluación de la generación de descripciones de imágenes no es solo un resultado de la escala del modelo, sino que se debe en gran medida a la pobre exposición de los modelos más pequeños a datos textuales complejos y extensos durante el entrenamiento.

Al introducir un currículo de entrenamiento dirigido con aumentos adversariales y utilizar la arquitectura BEiT-3, BEiTScore cierra la brecha entre las arquitecturas basadas en codificadores eficientes y las capacidades de razonamiento complejo de los LLM. Los autores afirman que BEiTScore proporciona una solución rentable para la evaluación automatizada, ofreciendo una fuerte correlación con los juicios humanos y una percepción composicional intrincada sin la sobrecarga computacional de los grandes modelos de lenguaje. La introducción del benchmark LongCapVLCP destaca las limitaciones de las métricas actuales para manejar descripciones extensas y texto escénico, estableciendo un nuevo estándar para evaluar estas capacidades.