Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese

Resumen Técnico: Prosa – Evaluación Basada en Rúbricas de LLMs en Chats Reales de Usuarios en Portugués Brasileño

Enunciado del Problema
La evaluación automática actual de la generación de lenguaje abierto enfrenta dos limitaciones principales. Primero, las métricas tradicionales de superposición de n-gramas (por ejemplo, BLEU, ROUGE) se correlacionan débilmente con el juicio humano, fallando particularmente en distinguir entre sistemas de alta calidad. Segundo, aunque los paradigmas de "LLM como juez" han mejorado la correlación con expertos humanos, dependen de una puntuación holística, donde un juez colapsa múltiples dimensiones de calidad en una sola puntuación o preferencia por pares. Los autores argumentan que este enfoque holístico es opaco y altamente sensible a los sesgos específicos del modelo juez elegido. Además, las referencias existentes para el portugués brasileño están dominadas por exámenes académicos de opción múltiple o tareas traducidas del inglés, careciendo de evaluación basada en interacciones de usuario multivuelta que ocurran naturalmente dentro del contexto cultural y lingüístico específico de Brasil.

Metodología
El artículo introduce Prosa, una referencia y protocolo de evaluación diseñados para abordar estas brechas mediante tres decisiones de diseño centrales:

1. Construcción de Datos del Mundo Real: Prosa deriva su conjunto de datos del repositorio WildChat, filtrando 3.2 millones de conversaciones hasta llegar a 1,000 interacciones de alta calidad y multivuelta en portugués brasileño. La tubería de filtrado (Figura 1) emplea verificaciones basadas en reglas (unicidad de IP, longitud de tokens, deduplicación semántica) y filtros basados en LLM (clasificación de dificultad, asignación de temas y detección de intenciones sin sentido) para asegurar que los datos reflejen tareas de usuario verificables, no redundantes y desafiantes.
2. Puntuación Basada en Rúbricas Descompuesta: En lugar de la puntuación holística, Prosa utiliza un sistema de rúbrica binaria de aprobación/rechazo. Para cada conversación, un modelo generador (GPT-5.2) produce un conjunto de criterios binarios atómicos basados en el historial de conversación y las respuestas de referencia. Un modelo juez evalúa luego cada respuesta contra estos criterios, emitiendo un veredicto SÍ/NO para cada ítem de la rúbrica. La puntuación final es la Proporción de Seguimiento de Requisitos Descompuestos (DRFR), escalada de 0 a 100.
3. Filtrado Post-Hoc Multi-Juez: Una tubería novedosa filtra las rúbricas generadas antes de la puntuación para eliminar criterios de baja calidad. Esta tubería opera sobre la clasificación empírica de 16 modelos candidatos evaluados por tres jueces distintos (GPT-4.1, Gemini 3 Flash y Sabiá-4). Elimina las rúbricas que son:
   • Triviales: Aprobadas por todos los candidatos.
   • Imposibles: Rechazadas por todos los candidatos.
   • Desalineadas: Donde los candidatos con mayor puntuación fallan mientras que los de menor puntuación aprueban.
   • Inestables: Donde los veredictos cambian entre ejecuciones repetidas a temperatura 0.

Contribuciones Clave

• Referencia Prosa: La primera referencia de chat en portugués brasileño, multivuelta y de usuarios reales evaluada mediante LLM como juez basado en rúbricas.
• Perspectiva Metodológica: La demostración de que descomponer el juicio en veredictos binarios atómicos es más crítico para la estabilidad de la clasificación que la elección del propio modelo juez.
• Tubería de Filtrado: Un mecanismo automático de filtrado de rúbricas post-hoc que mejora significativamente el poder discriminativo de la evaluación sin requerir un modelo juez de "vanguardia".
• Eficiencia de Costos: Un protocolo que permite una evaluación de alta fidelidad utilizando modelos más económicos (por ejemplo, Gemini 3 Flash a ~$2.1 por candidato) mientras se reproducen las clasificaciones obtenidas por jueces más costosos.

Resultados
Los autores evaluaron 16 modelos de cuatro familias (OpenAI, Google, Alibaba, Maritaca AI) utilizando tres jueces diferentes bajo tres protocolos: puntuación holística, puntuación de rúbrica sin filtrar y puntuación de rúbrica filtrada.

• Estabilidad de la Clasificación: Bajo puntuación holística, los tres jueces coincidieron en solo 7 de 16 rangos (correlación de Spearman 0.986). Bajo puntuación de rúbrica filtrada, los jueces lograron un acuerdo perfecto (16/16 rangos, Spearman 1.000).
• Poder Discriminativo: La tubería de filtrado aumentó la brecha promedio de puntuación entre modelos vecinos en un 47% (de 2.22 a 3.26 puntos) y expandió la dispersión de arriba a abajo de 33.3 a 48.9 puntos.
• Rendimiento del Modelo: El cuadro de clasificación final (Tabla 4) muestra a GPT-5.2 en la cima (88.6), seguido de cerca por GPT-5 Mini y Gemini 3 Pro. Cabe destacar que el modelo de pesos abiertos Qwen3-235B (80.1) superó a GPT-4.1 y Gemini 3 Flash, ocupando el 4º lugar. El modelo de Maritaca AI Sabiá-4 ocupó el 9º lugar (70.2), mostrando una mejora generacional significativa sobre Sabiá-3.1.
• Costo: Evaluar un nuevo candidato cuesta aproximadamente $2.1 utilizando Gemini 3 Flash, un orden de magnitud más barato que referencias comparables como Arena-Hard-Auto ($20/candidato).

Significado y Afirmaciones
El artículo afirma que el principal impulsor de la evaluación fiable de LLM es la descomposición del juicio en decisiones binarias atómicas en lugar de la sofisticación del modelo juez. Al cambiar de la puntuación holística a la puntuación de rúbrica filtrada, la evaluación se vuelve invariante al juez específico utilizado, permitiendo a los investigadores utilizar modelos más baratos y rápidos sin sacrificar la fidelidad de la clasificación.

Los autores postulan que esta metodología reduce la barrera para la evaluación a gran escala y proporciona señales de calidad de granularidad fina (veredictos por rúbrica) que podrían reutilizarse para el modelado de recompensas además de la evaluación. Concluyen que, aunque la referencia es específica para el portugués brasileño, el mecanismo central de la evaluación de rúbricas descompuestas y filtradas es probablemente transferible a otros idiomas y entornos de evaluación abierta. Los autores liberan la referencia, el código de filtrado y las rúbricas para garantizar la reproducibilidad y condiciones de evaluación idénticas para futuros modelos.