The Authenticity Gap in Human Evaluation

En el mundo del lenguaje de la computación, donde se enseña a las máquinas a escribir historias, responder preguntas y mantener conversaciones, existe un problema persistente: ¿cómo sabemos si la máquina está haciendo realmente un buen trabajo? Durante años, el método estándar ha sido contratar a personas para que lean el texto que produce la computadora y le asignen una puntuación, de forma muy parecida a un juez en un concurso de talentos. Estas calificaciones humanas se tratan como la verdad absoluta, el estándar de oro contra el cual se miden todos los nuevos programas informáticos. La lógica parece sencilla: si una computadora escribe una historia que la gente califica con puntuaciones altas, es una buena escritora. Pero este enfoque se basa en un supuesto oculto: que cuando una persona asigna un número a un fragmento de texto, ese número captura perfectamente su verdadero sentimiento sobre él. Supone que la distancia entre una puntuación "buena" y una "excelente" es la misma para todos, y que promediar estas puntuaciones nos dice exactamente qué computadora es mejor.

Un equipo de investigadores de la Universidad de Stanford decidió observar más de cerca este proceso, no solo para ver si los jueces estaban haciendo bien su trabajo, sino para preguntarse si el propio sistema de calificación era defectuoso. Abordaron el problema a través del lente de cómo los economistas entienden las elecciones humanas, viendo la capacidad de una computadora para generar texto como una especie de apuesta. Cuando una computadora escribe, no produce un único resultado fijo; produce un rango de posibles resultados, algunos brillantes y otros terribles. Los investigadores descubrieron que la forma estándar de pedir a los humanos que califiquen estos resultados a menudo no logra capturar lo que la gente realmente prefiere. De hecho, descubrieron que el acto mismo de promediar estas calificaciones a veces puede invertir los resultados, haciendo que una computadora peor parezca mejor que una mejor, o ocultando el hecho de que los humanos pueden notar la diferencia entre una máquina y una persona.

Para solucionar esto, los investigadores propusieron una forma completamente nueva de pedir opiniones. En lugar de pedir a una persona que califique una sola historia en una escala del uno al cinco, les pidieron que observaran las dos computadoras una al lado de la otra y estimaran la probabilidad de que una sea mejor que la otra en términos generales. Este método, que llaman evaluación probabilística a nivel de sistema, trata al juez humano no como un calculador de puntuaciones, sino como un experto estimando una probabilidad. Cuando probaron este nuevo método contra el anterior utilizando diferentes versiones de un potente modelo de lenguaje, los resultados fueron sorprendentes. El método antiguo, que ha sido el estándar de la industria durante años, no logró detectar diferencias claras entre los modelos que deberían haber sido obvias. No pudo distinguir que una computadora más grande y avanzada era mejor que una más pequeña, e incluso sugirió que una computadora era significativamente mejor que un escritor humano, un hallazgo que contradice investigaciones previas.

El nuevo método, sin embargo, funcionó exactamente como los investigadores esperaban. Cuando las personas utilizaron el enfoque basado en la probabilidad, identificaron consistentemente el orden correcto de los modelos de computadora, reconociendo que los sistemas más grandes y complejos producían mejores historias. También identificaron correctamente que, mientras que la computadora más pequeña era claramente peor que un humano, la más grande era indistinguible de un escritor humano. Este éxito no se debió a tener más personas o más datos; los investigadores utilizaron el mismo grupo de noventa voluntarios para ambas pruebas. La diferencia radicó enteramente en cómo se formuló la pregunta. El método estándar, que pide una calificación en una escala fija, obliga a las personas a realizar juicios que sus cerebros no están programados para hacer de manera consistente. Supone que la brecha entre una puntuación de tres y una de cuatro significa lo mismo para cada persona, un supuesto que rara vez se cumple en la realidad.

Los investigadores demostraron que este fallo no es solo un error técnico menor, sino un malentendido fundamental de cómo funciona la preferencia humana. Cuando se pide a la gente que califique un texto en una escala, a menudo están adivinando la distancia entre los puntos, y esas conjeturas pueden variar enormemente de una persona a otra. Una persona puede pensar que una puntuación de cuatro es solo ligeramente mejor que una de tres, mientras que otra puede pensar que es el doble de buena. Cuando se promedian estas visiones conflictivas, el resultado es una señal turbia que oscurece la verdad. El nuevo método evita esta confusión pidiendo a las personas que den un paso atrás y observen el panorama general. En lugar de juzgar una sola oración, juzgan el sistema completo, estimando con qué frecuencia preferirían una computadora sobre la otra si vieran muchos ejemplos. Este enfoque reconoce que los humanos no pueden ver cada salida posible que una computadora podría generar, pero aún pueden formar un sentido confiable de qué sistema es superior basándose en una muestra.

Las implicaciones de este hallño se extienden mucho más allá de probar computadoras que escriben historias. Desafía la forma en que todo el campo de la inteligencia artificial evalúa su propio progreso. Durante años, los investigadores han construido nuevos modelos y han afirmado que son mejores porque recibieron puntuaciones promedio más altas de jueces humanos. Si esas puntuaciones no son matemáticamente fieles a la preferencia humana, entonces muchas de esas afirmaciones podrían ser erróneas. El estudio sugiere que el campo necesita alejarse de las simples escalas de calificación y avanzar hacia métodos que respeten la complejidad del juicio humano. Al pedir a las personas que estimen probabilidades en lugar de asignar números, podemos obtener una imagen más clara y honesta de lo que estas máquinas son realmente capaces de hacer.

En sus experimentos, los investigadores utilizaron un conjunto específico de temas para historias y pidieron a los voluntarios que compararan diferentes versiones de un modelo de lenguaje, que variaban desde una versión pequeña y básica hasta una masiva y avanzada. También incluyeron historias escritas por humanos reales para servir como punto de referencia. Los resultados fueron claros: el nuevo método recuperó todas las preferencias esperadas, clasificando correctamente las computadoras de peor a mejor y ubicando con precisión al escritor humano en la mezcla. El método antiguo, a pesar de usar los mismos voluntarios y las mismas historias, solo recuperó dos de las cinco preferencias esperadas. No pudo ver la diferencia entre las computadoras de tamaño medio y, sorprendentemente, concluyó que el escritor humano era significativamente peor que la computadora más grande. Este error resalta un punto ciego peligroso en las prácticas de evaluación actuales, donde un protocolo defectuoso puede llevar a los investigadores a creer que sus máquinas han superado la capacidad humana cuando no es así.

Los investigadores también probaron este nuevo enfoque en la generación de imágenes, pidiendo a las personas que juzgaran qué computadora producía mejores imágenes. Los resultados se mantuvieron nuevamente, mostrando que el método funciona en diferentes tipos de tareas creativas. Encontraron que cuanto más ejemplos veían las personas, más seguros se sentían de sus preferencias, pero incluso con un pequeño número de ejemplos, el método basado en la probabilidad fue capaz de detectar al ganador correcto. Esto sugiere que el método es robusto y eficiente, capaz de proporcionar respuestas confiables sin requerir una cantidad imposible de datos. Respeta los límites de la atención humana mientras captura la esencia de la preferencia humana.

En última instancia, este trabajo trata de alinear nuestras herramientas con la realidad. El protocolo estándar para evaluar la inteligencia artificial se ha construido sobre una base de supuestos que no coinciden con cómo piensan o sienten los humanos. Al cambiar el enfoque de números arbitrarios a estimaciones honestas de probabilidad, los investigadores han ofrecido un camino hacia evaluaciones más precisas y confiables. Es un recordatorio de que, en la búsqueda de mejores máquinas, primero debemos asegurarnos de que nuestros métodos para medirlas sean sólidos. El objetivo no es solo saber qué computadora gana, sino comprender qué significa realmente esa victoria para el futuro de la interacción humano-computadora. A medida que estos sistemas se integran más en nuestras vidas, hacer la evaluación correctamente no es solo un ejercicio académico; es una necesidad para asegurar que la tecnología que construimos sirva verdaderamente a las personas que la utilizan.