Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards
Este artículo revela que el desacuerdo significativo entre los anotadores expertos y la multitud a nivel de ítem está enmascarado por el pequeño tamaño de las tablas de clasificación, creando una falsa sensación de estabilidad en las clasificaciones de los modelos que no logra generalizarse a medida que aumenta el número de modelos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En la carrera por construir una inteligencia artificial más inteligente, los investigadores confían en una idea simple pero poderosa: para saber si una máquina está mejorando, se debe pedir a un humano que juzgue su trabajo. Este proceso, conocido como un banco de pruebas de preferencias (preference benchmark), consiste en mostrar a un humano dos respuestas diferentes de una IA y preguntarle cuál es mejor. La recopilación de estos votos humanos se convierte en el "estándar de oro", un punto de referencia confiable contra el cual se miden todos los nuevos modelos. Durante años, el campo ha operado bajo una suposición silenciosa: que no importa qué humanos se contraten para realizar el juicio. La creencia predominante es que, si bien las personas individuales pueden cometer errores aleatorios, el grupo en su conjunto es un instrumento fiable, que mide una verdad única y estable sobre lo que hace que una respuesta sea buena. Si esta suposición se cumple, entonces la identidad específica de los jueces es solo un detalle menor, como la marca del bolígrafo utilizado para escribir la puntuación.
Pero una nueva investigación sugiere que este detalle es, en realidad, la parte más importante de la ecuación. Los investigadores se propusieron probar si la elección de los jueces humanos realmente importa, ejecutando el mismo conjunto de comparaciones de IA dos veces, utilizando dos grupos de personas completamente diferentes. Un grupo consistía en trabajadores de plataformas de microtareas (crowdworkers), el tipo de personas contratadas por miles para tareas en línea. El otro grupo estaba compuesto por expertos en la materia debidamente seleccionados, individuos con conocimientos especializados en el campo. Los investigadores tomaron un conjunto masivo de datos de miles de comparaciones de IA y pidieron a ambos grupos que votaran por los ganadores. Encontraron que los dos grupos de humanos no coincidían entre sí tanto como el campo asumía. En casi uno de cada cuatro elementos, los dos grupos eligieron ganadores mayoritarios diferentes. En casi uno de cada diez casos, los trabajadores de plataformas y los expertos eligieron ganadores opuestos, declarando al perdedor de un grupo como el campeón del otro.
A pesar de este enorme desacuerdo a nivel de elementos individuales, el resultado final parecía engañosamente estable. Cuando los investigadores utilizaron estos votos conflictivos para clasificar los seis modelos de IA del estudio, la tabla de clasificación final fue idéntica independientemente de qué grupo de humanos realizara el juicio. El orden de los modelos no cambió en absoluto. Esto creó una imagen confusa: los jueces gritaban respuestas diferentes, pero el marcador permanecía silencioso. Los investigadores se dieron cuenta de que esta estabilidad no era una señal de un sistema robusto, sino un accidente afortunado causado por el pequeño número de modelos comparados. Debido a que los modelos estaban muy distanciados en su rendimiento, los pequeños cambios en la votación causados por el cambio de jueces no fueron suficientes para que un modelo superara a otro.
Para probar qué tan frágil era realmente esta estabilidad, los investigadores realizaron simulaciones para ver qué sucedería si la tabla de clasificación fuera más grande, conteniendo las docenas de modelos que son comunes en las competiciones del mundo real. Los resultados fueron contundentes. Mientras que una tabla de seis modelos permanecía sin cambios, una tabla con solo diez modelos vería a un modelo desplazado en el ochenta y seis por ciento de los casos. Con veinte modelos, la probabilidad de un reordenamiento era de casi el cien por ciento. El estudio concluyó que la práctica actual del campo de reportar tablas de clasificación pequeñas es segura solo porque los modelos son pocos y están distanciados entre sí. Si el campo publicara una arena de modelos más grande y realista, la elección de los jueces humanos desordenaría inmediatamente las clasificaciones. El "estándar de oro" no es una verdad fija; es un objetivo móvil que cambia dependiendo de quién sea contratado para sostener la cinta métrica.
La investigación no se detuvo en los jueces humanos. Los investigadores también examinaron cómo los jueces de inteligencia artificial, que se utilizan cada vez más para automatizar estas clasificaciones, manejan el desacuerdo entre los grupos humanos. Probaron tres jueces de IA diferentes, incluyendo modelos de distintas empresas, para ver con qué grupo de humanos coincidían más. Cada uno de los jueces de IA se alineó significativamente más con los trabajadores de plataformas que con los expertos. Esto sugiere que los jueces de IA han aprendido a imitar las preferencias de las masas, probablemente porque los datos utilizados para entrenarlos provinieron de trabajadores similares de plataformas de microtareas. Los investigadores descubrieron que la concordancia de un juez de IA con los humanos no es solo una medida de su inteligencia, sino también un reflejo de las decisiones de contratación realizadas años atrás cuando se recolectaron los datos de entrenamiento.
El estudio también reveló que la forma en que se le da las instrucciones (prompts) a estos jueces de IA puede cambiar sus opiniones más que la elección de los jueces humanos. Cuando los investigadores cambiaron el orden en que se presentaban las respuestas, los jueces de IA revirtieron sus decisiones en casi la mitad de los elementos (específicamente el 44.6% para un modelo). Además, cuando los investigadores cambiaron únicamente el formato de salida (pidiendo un objeto JSON en lugar de un token simple) manteniendo todo lo demás fijo, el mismo juez estuvo de acuerdo consigo mismo en solo el 47.2% de los elementos, mostrando un cambio sistemático en una sola dirección. Esta sensibilidad al orden de presentación y al formato es una fuente de error mucho mayor que la diferencia entre las opiniones de expertos y de trabajadores de plataformas. Los investigadores argumentan que todo el campo necesita cambiar la forma en que reporta estos resultados. Simplemente afirmar que un modelo coincide con los humanos en un cierto porcentaje de tiempo es incompleto sin especificar qué humanos fueron utilizados. La seguridad de las clasificaciones actuales es una ilusión creada por tamaños de muestra pequeños, y la fiabilidad de las clasificaciones futuras depende enteramente de reconocer que la elección de los anotadores no es un detalle menor, sino una variable fundamental que moldea el resultado.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.