💻 computer science

The Trust Paradox: How CS Researchers Engage LLM Leaderboards

A través de entrevistas con ocho investigadores en ciencias de la computación, este artículo revela una paradoja en la que los profesionales desconfían de las clasificaciones de modelos de lenguaje grandes, pero a la vez dependen de ellas como guías aproximadas, descubriendo finalmente que las redes de pares y las clasificaciones basadas en arenas impulsan la selección de modelos más que las pruebas estáticas, al tiempo que destacan una demanda crítica de transparencia en los costos.

Autores originales: Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el mundo de la investigación en Inteligencia Artificial como una liga deportiva masiva y de alto riesgo. En esta liga, las Tablas de Clasificación son los marcadores oficiales. Clasifican los modelos de IA (los "atletas") según su rendimiento en pruebas específicas, como un examen estandarizado de matemáticas o un cuestionario de comprensión lectora.

La suposición común es simple: Si un modelo está en la cima del marcador, es el mejor atleta.

Sin embargo, un nuevo estudio de la Universidad de Waterloo revela que los investigadores que realmente juegan el partido no creen que el marcador cuente toda la verdad. De hecho, tienen una relación extraña y contradictoria con él.

Aquí está el desglose de sus hallazgos, utilizando analogías cotidianas:

1. La "Paradoja de la Confianza": Saber que el Marcador es Defectuoso, Pero Revisarlo de Todos Modos

Los investigadores entrevistaron a ocho científicos informáticos de diferentes campos. Encontraron un patrón universal llamado "Escepticismo Pragmático".

La Analogía: Imagina que estás comprando un coche. Sabes que las clasificaciones oficiales de la revista "Coche del Año" son defectuosas porque la revista podría estar sesgada, o las pruebas no reflejan las condiciones reales de conducción. Sabes que las clasificaciones son inestables.
La Realidad: Aunque estos investigadores desconfían profundamente de las tablas de clasificación, aún las consultan. ¿Por qué? No para tomar la decisión final, sino para reducir la lista.
El Resultado: Tratan la tabla de clasificación como un "filtro aproximado". Les ayuda a eliminar las opciones claramente malas para no tener que probar 100 modelos, pero nunca confían en el puesto número 1 como la verdad absoluta.

2. El Verdadero "Entrenador": Redes de Pares sobre Marcadores

Si los investigadores no confían en el marcador, ¿en quién confían? En sus amigos y colegas.

La Analogía: Piénsalo como elegir un restaurante. Podrías mirar la guía oficial de "Estrellas Michelin" (la tabla de clasificación), pero es mucho más probable que le preguntes a tu amigo de confianza: "Oye, ¿dónde cenaste anoche que realmente estuvo bueno?".
El Hallazgo: Para 7 de cada 8 investigadores, el factor más importante al elegir un modelo de IA fue una recomendación de un par. Confían mucho más en la experiencia personal de un colega ("Probé esto y funcionó para mi proyecto específico") que en el marketing de una empresa o en una puntuación de prueba estática.
La Jerarquía de Confianza:
1. Pares/Collegas (Más confiables)
2. Expertos de terceros
3. Las empresas que crean la IA (Menos confiables, vistas como anunciantes sesgados)

3. La "Arena" frente al "Examen Escrito"

El estudio encontró que los investigadores prefieren un tipo de tabla de clasificación sobre el otro.

Benchmarks Estáticos (El Examen Escrito): Son pruebas fijas donde los modelos responden las mismas preguntas una y otra vez. Los investigadores son suspicaces de estas porque las empresas pueden "estudiar para el examen" y hacer trampa, o la prueba podría estar desactualizada.
Basados en Arena (El Espectáculo en Vivo): Son plataformas donde humanos reales votan en tiempo real sobre qué respuesta de IA les gusta más (como un concurso de popularidad).
El Veredicto: Todos prefirieron la "Arena". Sintieron que era más honesta porque reflejaba cómo los humanos interactúan realmente con la IA, en lugar de lo bien que la IA memorizó una prueba específica.

4. No Todos Juegan el Mismo Juego

El estudio reveló que la presión por perseguir la cima de la tabla de clasificación depende enteramente de qué "equipo" (subcampo) estás.

El Equipo de PLN (Procesamiento del Lenguaje Natural): Estos investigadores están bajo una presión inmensa. Es como una liga deportiva de secundaria donde si no tienes el promedio de calificaciones más alto, no puedes entrar a la universidad. Deben comparar su trabajo con los modelos mejor clasificados para poder publicar.
Los Equipos de IHM y Privacidad: Estos investigadores son como personas que juegan un deporte completamente diferente. No les importa la tabla de clasificación. Les importa la experiencia del usuario, la seguridad o la privacidad. Estar "mejor clasificado" en un examen de matemáticas no importa si su IA es insegura o confusa de usar.
La Sorpresa: ¡Algunos investigadores en estos otros campos ni siquiera sabían que existían las tablas de clasificación! Estaban navegando el mundo de la IA sin mirar nunca el marcador.

5. La Pieza Faltante: La Etiqueta de Precio

Si los investigadores pudieran rediseñar estas tablas de clasificación para hacerlas realmente útiles, ¿qué agregarían?

La Gran Solicitud: Transparencia de Costos.
La Analogía: Imagina una tabla de clasificación que te dice que un coche rinde 50 millas por galón pero no te dice que el coche cuesta 200.000 dólares. Es información inútil.
La Realidad: Los investigadores necesitan saber cuánto cuesta ejecutar estos modelos. Un modelo podría ser "inteligente", pero si cuesta una fortuna usarlo, no es práctico. Siete de cada ocho investigadores dijeron que esta es la característica faltante más importante. También querían saber quién estaba votando en la "Arena" para asegurar que no fuera solo un grupo de personas de un país o cultura específicos.

Resumen

El documento concluye que las tablas de clasificación están rotas como "contadoras de la verdad", pero son útiles como "iniciadoras de conversaciones".

Los investigadores no siguen ciegamente las clasificaciones. Las utilizan como punto de partida, pero confían en su red humana, en pruebas personales y en cálculos de costos para tomar las decisiones reales. El estudio sugiere que si queremos que estos marcadores sean más útiles, deben dejar de fingir ser perfectos y comenzar a mostrar el panorama completo: el costo, las fortalezas específicas y los votantes humanos detrás de las puntuaciones.

Resumen Técnico: La Paradoja de la Confianza: Cómo los Investigadores en Ciencias de la Computación Interactúan con los Tableros de Clasificación de Modelos de Lenguaje Grande

Declaración del Problema

Los tableros de clasificación de Modelos de Lenguaje Grande (LLM) se han convertido en artefactos centrales en la investigación moderna de IA, agregando puntuaciones de modelos en tareas estandarizadas para proporcionar clasificaciones. Estas plataformas generalmente adoptan dos formas: tableros de clasificación de referencia estáticos (por ejemplo, MMLU, Open LLM Leaderboard) que clasifican los modelos en conjuntos de prueba fijos, y tableros de clasificación basados en arenas (por ejemplo, Chatbot Arena) que agregan votos de preferencia humana.

A pesar de su visibilidad, la literatura técnica ha establecido limitaciones significativas en cuanto a su fiabilidad y robustez. Los estudios indican que las clasificaciones de los tableros son sensibles a perturbaciones menores (por ejemplo, ajustar los prompts de evaluación o eliminar pequeñas fracciones de datos), susceptibles a la manipulación estratégica (por ejemplo, fraude en votos o pruebas dirigidas), y que diferentes algoritmos de clasificación (por ejemplo, Elo vs. Glicko) pueden producir ordenamientos divergentes a partir de los mismos datos.

Sin embargo, persiste una brecha crítica: mientras que la fragilidad técnica de los tableros está documentada, es empíricamente inexplorado cómo estas plataformas moldean realmente las prácticas diarias de los investigadores, sus procesos de toma de decisiones y sus juicios de confianza. No está claro si los investigadores tratan las posiciones en los tableros como proxies definitivos del progreso o si desconfían y utilizan selectivamente estas señales. Este estudio aborda esta brecha examinando el rol socio-técnico de los tableros a través de diferentes subcampos de las ciencias de la computación.

Metodología

El estudio emplea un enfoque cualitativo e interpretivista fundamentado en el análisis temático reflexivo (ATR).

Participantes: Se reclutaron ocho investigadores en ciencias de la computación de cuatro subcampos: Procesamiento del Lenguaje Natural (PLN, $n=3$ ), Interacción Humano-Computadora (IHC, $n=2$ ), Sistemas/Privacidad ( $n=2$ ), y una categoría interdisciplinaria "Otros" ( $n=1$ ). La muestra incluyó estudiantes de doctorado, una estudiante de maestría e investigadores postdoctorales.
Recopilación de Datos: Los datos se recopilaron mediante entrevistas semiestructuradas (30–45 minutos) precedidas por un cuestionario de antecedentes y seguidas por un proceso de verificación por parte de los miembros, donde los participantes revisaron resúmenes de sus entrevistas para verificar la precisión factual.
Procedimiento: Se mostró a los participantes una tipología visual de diseños de tableros para fundamentar las discusiones. Las entrevistas exploraron estrategias de selección de modelos, actitudes hacia la confiabilidad de los tableros y la influencia de las clasificaciones en la formulación de la investigación.
Análisis: Las transcripciones se analizaron utilizando el proceso de ATR de seis fases de Braun y Clarke. El investigador principal generó 210 segmentos codificados a través de 71 códigos únicos, organizados en siete dimensiones analíticas y seis temas. No se buscó la fiabilidad intercodificadora; en su lugar, se mantuvo la reflexividad mediante la escritura de memos analíticos y las verificaciones por parte de los miembros.

Contribuciones Clave

El artículo hace tres contribuciones principales:

Evidencia Empírica de la Paradoja del "Escepticismo Pragmático": El estudio identifica una postura casi universal donde los investigadores expresan una profunda desconfianza hacia las clasificaciones de los tableros, pero continúan utilizándolas como ayudas aproximadas para la toma de decisiones.
Comparación Transversal de la Influencia por Subcampo: La investigación demuestra que la influencia de los tableros está mediada por la cultura disciplinaria y no por actitudes individuales. Por ejemplo, los investigadores de PLN enfrentan una presión significativa de comparación con el estado del arte (SoTA), mientras que los investigadores de IHC y Sistemas/Privacidad reportan poca o ninguna expectativa de este tipo.
Recomendaciones de Diseño Accionables: El estudio traduce las necesidades de los investigadores en mejoras concretas de infraestructura, yendo más allá de las suposiciones sobre la evaluación para abordar los patrones de uso reales.

Resultados Clave

1. La Paradoja de la Confianza y los Patrones de Uso

Contrario a un espectro que va desde la adopción entusiasta hasta el rechazo total, los ocho participantes exhibieron escepticismo pragmático.

Desconfianza: Los participantes reconocieron que las referencias estáticas pueden ser "aprendidas" o manipuladas, y que las clasificaciones de las arenas pueden ser manipuladas. Reconocieron que las clasificaciones no son medidas definitivas de calidad.
Uso: A pesar de esta desconfianza, los participantes utilizaron los tableros como "priors débiles" para reducir su espacio de búsqueda. No trataron las clasificaciones como verdad fundamental, sino como un punto de partida para una investigación más profunda.
Mecanismo Principal de Selección: Las redes de pares, y no los tableros, surgieron como el mecanismo dominante para la selección de modelos. Siete de los ocho participantes se basaron principalmente en recomendaciones de pares (conversaciones de laboratorio, redes sociales, expertos de confianza). Un investigador de PLN notó: "El 90% de mi uso se basa en recomendaciones".
Experiencia sobre Evidencia: La prueba y el error personales y prácticos se priorizaron sobre las clasificaciones cuantitativas. Los participantes a menudo se involucraron en "satisficing", aceptando modelos que eran "suficientemente buenos" en lugar de buscar la opción mejor clasificada.

2. Diferencias Disciplinarias en la Participación

La influencia de los tableros varió drásticamente según el subcampo:

PLN: Los investigadores enfrentaron una alta presión para comparar con modelos del estado del arte debido a las normas de publicación. Estaban muy involucrados con los tableros, pero permanecieron escépticos sobre su estabilidad.
IHC y Sistemas/Privacidad: Los investigadores en estos campos reportaron ninguna presión de publicación impulsada por tableros. Sus criterios de evaluación (por ejemplo, latencia, experiencia de usuario, garantías formales de privacidad) a menudo caían fuera de las métricas de referencia estándar. Cabe destacar que cinco de los ocho participantes (incluyendo tanto investigadores de IHC como de Sistemas/Privacidad) tenían poca o ninguna conciencia previa de plataformas específicas de tableros, lo que destaca una falla de descubribilidad para audiencias no especializadas en PLN.

3. Confiabilidad y Métricas Faltantes

Arena vs. Estático: Hubo un consenso universal (8/8) en todos los subcampos de que los tableros basados en arenas (votación humana) eran preferidos sobre los tableros de referencia estáticos. Los participantes encontraron los resultados de las arenas más interpretables y alineados con la experiencia real del usuario.
Transparencia de Costos: La característica faltante más demandada, planteada por siete de los ocho participantes, fue la transparencia de costos. Los investigadores criticaron la falta de datos de precios o eficiencia, señalando que el costo por consulta es a menudo una restricción vinculante para los investigadores académicos.
Granularidad: Los participantes solicitaron desgloses de puntuaciones específicas por tarea (por ejemplo, puntuaciones separadas para matemáticas, programación, multilingüismo) en lugar de números agregados únicos.
Transparencia: Hubo llamamientos para la divulgación de la demografía de los votantes para evaluar el sesgo, así como información sobre la procedencia de los modelos y conflictos de interés institucionales.

Significado y Afirmaciones

El artículo argumenta que los tableros de clasificación de LLM deben entenderse no meramente como infraestructura técnica, sino como artefactos socio-técnicos incrustados en la cultura de investigación.

Incrustación Social: El estudio desafía la visión de que mejores métricas por sí solas mejorarán la adopción. Plantea que la selección de modelos es profundamente social, impulsada por redes de confianza de pares que filtran e interpretan (o ignoran) las señales de los tableros.
La Paradoja de la Utilidad: La persistencia del uso de tableros a pesar de la desconfianza generalizada sugiere que su valor no radica en la precisión, sino en su función como dispositivos de coordinación que reducen un espacio de búsqueda abrumador.
Preocupaciones Éticas y Estructurales: Los autores destacan que la cultura actual de los tableros codifica la desigualdad de recursos, penalizando a los investigadores sin presupuestos de computación a escala industrial que no pueden competir en las referencias del estado del arte. Además, la falta de transparencia en la gobernanza y el potencial para el juego de referencias plantean riesgos éticos, particularmente para los practicantes fuera de PLN que pueden carecer de la experiencia para evaluar críticamente las metodologías de referencia.

El estudio concluye que la infraestructura de evaluación debe rediseñarse para alinearse con cómo los investigadores la utilizan realmente, incorporando datos de costos, granularidad específica por tarea y transparencia sobre la demografía de votación y la gobernanza, en lugar de depender de clasificaciones de puntuación única que no logran capturar las utilidades heterogéneas que los investigadores requieren.