Resumen Técnico: BLUEX v2

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han demostrado competencia en diversas tareas, su evaluación en portugués sigue estando subdesarrollada, particularmente en lo que respecta al razonamiento discursivo abierto. Los benchmarks existentes, como el BLUEX original, dependen de preguntas de opción múltiple de la primera fase de los exámenes de ingreso a la universidad brasileña. Estos formatos prueban principalmente las capacidades de reconocimiento y selección, fallando en capturar la comprensión profunda, el razonamiento de múltiples pasos y la articulación compleja requerida en la segunda fase de estos exámenes. Además, las evaluaciones actuales suelen carecer de una evaluación multimodal rigurosa, a pesar de la prevalencia de imágenes, gráficos y diagramas en los exámenes académicos. Existe una necesidad crítica de un benchmark que evalúe a los LLMs de habla portuguesa en respuestas escritas de formato libre a través de diversos temas académicos y capacidades cognitivas.

Metodología

Construcción del Conjunto de Datos (BLUEX v2)

Los autores construyeron un benchmark derivado de los exámenes de segunda fase de las dos principales universidades de Brasil: UNICAMP (Comvest) y USP (Fuvest), cubriendo los años de examen 2022–2025.

• Alcance: El conjunto de datos contiene 395 preguntas discursivas (excluyendo ensayos/redações), que se despliegan en 919 subpreguntas calificadas.
• Multimodalidad: El 55.7% de las preguntas incluyen imágenes asociadas (mapas, gráficos, diagramas) esenciales para la respuesta.
• Pipeline de Anotación: La construcción involucró un pipeline de cinco etapas:
  1. Recolección de Datos: Extracción de preguntas y respuestas esperadas oficiales de archivos PDF utilizando un pipeline híbrido (pdfminer + OCR).
  2. Limpieza de Datos: Revisión humana por parte de cuatro anotadores para corregir artefactos de OCR, verificar la segmentación y eliminar duplicados/ensayos.
  3. Generación de Descripciones y Clasificación: Se generaron descripciones de imágenes conscientes del contexto usando Gemini 3.1 Flash Lite Preview (incorporando el texto de la pregunta), y la clasificación de temas se realizó utilizando Sabiá-4.
  4. Generación de Rúbricas: Para cada subpregunta, Sabiá-4 generó criterios de rúbrica estructurados y legibles por máquina (ítems verificables de forma binaria) basados en las respuestas esperadas oficiales.
  5. Taxonomía: Cada pregunta fue anotada con seis etiquetas de capacidad cognitiva: Conocimiento Previo (PRK), Comprensión de Texto (TU), Comprensión de Imagen (IU), Razonamiento Matemático (MR), Conocimiento Brasileño (BK) y Multilingüe (ML).

Protocolo de Evaluación

• Modelos: Se evaluaron 21 LLMs de última generación (incluyendo modelos de API de frontera y familias de pesos abiertos).
• Inferencia: Los modelos fueron consultados vía API con un prompt que contiene la pregunta, las descripciones de las imágenes y el andamiaje contextual (subpreguntas y respuestas previas) para reflejar la naturaleza secuencial de los exámenes.
• LLM-as-a-Judge (LLM como Juez): Las respuestas fueron calificadas por un juez LLM (Sabiá-4) frente a los criterios de la rúbrica generada. El juez emite un veredicto binario para cada criterio, con la puntuación final calculada como la relación de criterios cumplidos ($m/k$) escalada a un rango de 0–10.
• Validación: El protocolo del juez LLM fue validado contra dos revisores humanos independientes en una muestra de 200 anotaciones a nivel de criterio. El acuerdo LLM-humano (Kappa de Cohen $\approx 0.69$) se situó en el rango "sustancial", comparable al acuerdo humano-humano ($\kappa \approx 0.82$).

Resultados Clave

Desempeño General

• Poder Discriminativo: El benchmark demostró una dispersión de desempeño significativa de 4.92 puntos (oscilando entre 4.18 y 9.10 en una escala de 0–10).
• Mejores Desempeños: Los modelos de frontera dominaron los rangos superiores, con Gemini 3.1 Pro Preview puntuando 9.10, seguido de GPT-5.4 (8.92) y GPT-5-mini (8.90).
• Modelos Brasileños: Los modelos desarrollados domésticamente, Sabiá-4 y Sabiazinho-4, lograron puntuaciones competitivas de 8.60 y 8.57, respectivamente.
• Peores Desempeños: Los modelos más pequeños de pesos abiertos (ej. LLaMA-3.2-11B Vision) puntuaron significativamente más bajo (4.18).

Análisis de Capacidad y Temas

• Dimensiones más Difíciles: El Razonamiento Matemático (MR) y la Comprensión de Imágenes (IU) emergieron como las capacidades más desafiantes. El MR tuvo la mayor desviación estándar entre modelos (1.92), convirtiéndose en el principal diferenciador entre modelos. La IU promedió 7.79.
• Dificultad por Materia: Los temas STEM (Matemáticas, Física, Química) arrojaron puntuaciones promedio más bajas en comparación con las Humanidades (Filosofía, Sociología, Historia), lo que refleja la dificultad que enfrentan los LLMs con el razonamiento simbólico frente a la escritura argumentativa.
• Penalización Multimodal: Las preguntas que contienen imágenes fueron, en promedio, 0.54 puntos más difíciles que las preguntas de solo texto en todos los modelos, indicando un desafío persistente en la integración multimodal incluso para los modelos de frontera.

Significancia y Contribuciones

El artículo reclama cinco contribuciones primarias:

1. Primer Benchmark Multimodal de Respuesta Abierta: BLUEX v2 es el primer benchmark derivado de los exámenes de ingreso universitario de segunda fase de Brasil, cubriendo 9 materias, 2 universidades y 4 años de datos.
2. Anotación Rica: El conjunto de datos incluye seis etiquetas de capacidad cognitiva y un pipeline de construcción de cuatro etapas, lo que permite un análisis diagnóstico detallado y una reproducibilidad total.
3. Protocolo de Evaluación Validado: Los autores proponen un protocolo escalable de LLM-as-a-judge utilizando rúbricas generadas, validado contra evaluadores humanos para lograr un acuerdo sustancial, facilitando la evaluación sin necesidad de anotación manual.
4. Evaluación Exhaustiva: El estudio evalúa 21 modelos, revelando fallos consistentes en el razonamiento matemático y la comprensión de imágenes a través de diferentes familias de modelos.
5. Cuantificación del Desafío Multimodal: El trabajo proporciona evidencia empírica de la "penalización multimodal", mostrando que las preguntas con imágenes son significativamente más difíciles en un entorno académico real.

Los autores concluyen que, si bien los modelos de frontera se desempeñan bien en la argumentación en portugués, persisten brechas significativas en el razonamiento simbólico y la interpretación visual. El benchmark sirve como una herramienta para impulsar mejoras en estas áreas específicas y promover la transparencia en la evaluación de LLMs en portugués. El conjunto de datos, el código y los resultados están disponibles públicamente.