Who Defines "Best"? Towards Interactive, User-Defined Evaluation of LLM Leaderboards

1. Problema Definido

El artículo identifica una asimetría fundamental en la evaluación de Modelos de Lenguaje Grande (LLM):

• Dominio de Diseñadores Fijos: Los tableros de clasificación (leaderboards) actuales, como LMArena (anteriormente Chatbot Arena), están diseñados y fijados por un pequeño grupo de creadores de benchmarks. Sus resultados se consumen por una audiencia diversa con objetivos, contextos y restricciones muy diferentes.
• Pérdida de Matices: Una puntuación agregada global oculta cómo se comportan los modelos en diferentes tipos de prompts y composiciones de datos. Las clasificaciones globales reflejan la composición dominante del conjunto de datos, pero pueden enmascarar compensaciones (trade-offs) críticas cuando se observa subconjuntos específicos.
• Limitaciones de la Evaluación por Preferencia: El enfoque actual basado en preferencias humanas (votaciones de pares) tiende a priorizar la "ayuda percibida" sobre la corrección factual, la honestidad o la seguridad. Además, en tareas con respuestas objetivas o juicios de valor dependientes de la cultura/política, la agregación de preferencias puede generar resultados inestables o sesgados hacia los grupos de evaluadores dominantes.

2. Metodología

Los autores emplearon un enfoque mixto que combina análisis de datos empíricos, diseño de interfaces y estudios cualitativos:

A. Análisis del Conjunto de Datos (LMArena)

• Datos: Analizaron el conjunto de datos "Human Preference 140K" (135,634 juicios) de LMArena, que incluye comparaciones entre 53 LLMs.
• Jerarquía Temática: Construyeron una jerarquía de temas de tres niveles (8 categorías de alto nivel, 53 de nivel medio, 400 de bajo nivel) utilizando clustering (k-means) y refinamiento con LLMs (GPT-5).
• Métricas de Desempeño:
  • Calcularon tasas de victoria por categoría y compararon las clasificaciones con la global usando correlación de Spearman.
  • Realizaron pruebas estadísticas (prueba z de dos proporciones) para identificar modelos con desempeños anómalos en categorías específicas.
  • Análisis de Tareas Deterministas vs. Pluralistas:
    • Matemáticas: Verificaron la corrección de respuestas y analizaron estilos de explicación (concisión, estructura, razonamiento) que influyen en la preferencia humana más allá de la corrección.
    • Valor/Política: Clasificaron prompts sobre disputas geopolíticas para ver si las respuestas eran "pluralistas" (múltiples puntos de vista) o "no pluralistas" (toma de postura), analizando cómo esto afecta las clasificaciones.

B. Diseño de Interfaz Interactiva (Design Probe)

Desarrollaron una herramienta de visualización interactiva para permitir a los usuarios redefinir las prioridades de evaluación:

• Selección de Slices (Rebanadas): Los usuarios pueden seleccionar y ponderar categorías de prompts de una jerarquía temática.
• Visualización Coordinada:
  • Panel Izquierdo: Árbol de categorías con capacidad de expansión/contracción y ajuste de pesos. Incluye ejemplos de prompts para verificar el contenido.
  • Panel Derecho: Tablero de clasificación dinámico que muestra el rendimiento de los modelos en las slices seleccionadas, utilizando mapas de calor para resaltar desviaciones.
• Interacción: Permite iterar sobre la composición de datos y observar en tiempo real cómo cambian las clasificaciones.

C. Estudio Cualitativo

• Participantes: 10 profesionales con experiencia en IA (ingenieros, analistas de datos, académicos).
• Tarea: Utilizar la interfaz para seleccionar el mejor modelo para un escenario específico (ej. chatbot de tutoría, servicio al cliente).
• Método: Entrevistas de 45 minutos con protocolo de "pensar en voz alta".

3. Contribuciones Clave

1. Reencuadre Conceptual: Propone tratar la evaluación de tableros de LLM no como una comparación estática, sino como un proceso interactivo de sentido (sensemaking), donde los usuarios exploran y reponderan slices de datos.
2. Análisis Empírico: Demuestra que la composición del conjunto de datos (sesgo hacia temas de desarrollo de software, repetición de prompts simples) afecta drásticamente las clasificaciones globales. Muestra que los modelos pueden tener un rendimiento excelente en nichos específicos (ej. matemáticas complejas) que se diluyen en promedios globales.
3. Herramienta de Visualización Interactiva: Presenta una interfaz funcional que permite a los usuarios definir sus propias prioridades de evaluación, haciendo visible la incertidumbre y las compensaciones en la selección de modelos.

4. Resultados Principales

Del Análisis de Datos

• Sesgo Temático: El 30% de los prompts son sobre desarrollo de software/AI, reflejando la demografía de los usuarios de LMArena y no necesariamente a la base de usuarios general.
• Variabilidad de Clasificaciones: Las correlaciones entre el ranking global y el ranking por categoría varían enormemente (de 0.93 en ingeniería aplicada a 0.60 en procesamiento de datos).
  • Ejemplo: Los modelos de la familia Claude, que no están en el top 20 global, entran en el top 5 en la categoría "Procesamiento de Datos y Análisis" debido a su precisión en datos estructurados.
  • Ejemplo: El modelo minimax-m1 tiene una desviación extrema en matemáticas (z-score > 8), siendo el mejor en esa categoría pero el 19º global.
• Limitaciones de la Preferencia Humana:
  • En matemáticas, la corrección no garantiza la victoria; el estilo de explicación (concisión, estructura) influye fuertemente.
  • En temas políticos, no hay consenso sobre si las respuestas pluralistas o las que toman postura son "mejores". Las clasificaciones pueden reflejar sesgos de los evaluadores dominantes en lugar de calidad objetiva.

Del Estudio de Usuario

• Desafío de Percepciones Previas: Los usuarios descubrieron que modelos menos conocidos superaban a modelos "flagship" en sus contextos específicos, desafiando la sabiduría popular.
• Relevancia Contextual: La capacidad de filtrar subcategorías irrelevantes (ej. eliminar temas avanzados de matemáticas para un tutor escolar) fue crucial para la toma de decisiones.
• Anclaje en Ejemplos: Los usuarios no confiaron ciegamente en las métricas; inspeccionaron ejemplos de prompts para entender por qué un modelo ganaba, validando los resultados cuantitativos con juicio cualitativo.
• Cambio de Paradigma: Los participantes pasaron de ver el tablero como una respuesta definitiva a verlo como una herramienta de apoyo a la decisión que requiere negociación activa de prioridades.

5. Significado e Implicaciones

• Transparencia y Responsabilidad: La evaluación de IA no puede ser un proceso "caja negra" definido por terceros. Las herramientas interactivas permiten revelar dónde las clasificaciones son estables y dónde dependen de juicios de valor variables.
• Adaptabilidad: Para despliegues reales, la "mejor" evaluación depende del caso de uso. Un modelo puede ser el "mejor" para un chatbot de soporte técnico pero el "peor" para un asistente creativo, y los tableros actuales no reflejan esta distinción.
• Riesgos de la Interactividad: Si bien la interactividad empodera al usuario, también introduce el riesgo de que los usuarios definan configuraciones sesgadas o incompletas. La herramienta no garantiza la "verdad", sino que hace visibles las contingencias y los valores implícitos en la evaluación.
• Futuro de los Leaderboards: Sugiere que los futuros sistemas de evaluación deben soportar múltiples métricas (no solo tasas de victoria) y permitir a los usuarios seleccionar qué métrica aplicar a qué tipo de tarea (ej. exactitud para matemáticas, seguridad para temas sensibles).

En conclusión, el artículo argumenta que la definición de "mejor" en LLMs debe ser un proceso participativo y contextual, y que la visualización interactiva es un medio esencial para lograr una evaluación más responsable y alineada con las necesidades reales de los usuarios.