Position: Evaluation Scores Are Perishable Knowledge Claims

La trampa de la tarjeta de puntuación: Por qué el "promedio" puede ser una mentira

Imagina que eres un detective tratando de resolver un misterio usando pistas de tres testigos diferentes. Un testigo es un robot súper preciso que nunca miente, pero que solo vio el crimen desde lejos. Otro es un humano parlanchín que lo vio todo de cerca, pero que a veces inventa cosas para parecer genial. El tercero es un espejo que simplemente repite lo que dice el sospechoso. Si tomas el "promedio" de sus historias, podrías obtener una versión de los hechos ordenada y equilibrada que suena perfectamente razonable. Pero aquí está el truco: si el testigo humano dice que el sospechoso llevaba un sombrero rojo (cuando en realidad llevaba uno azul), ese único detalle erróneo arruina toda la historia, sin importar lo perfecta que fuera la descripción del clima hecha por el robot. En el mundo de la Inteligencia Artificial, específicamente cuando intentamos medir qué tan inteligentes son estos cerebros computacionales, solemos cometer exactamente este error. Tratamos las puntuaciones de las pruebas como problemas matemáticos simples donde solo podemos sumar y dividir por el número de pruebas para obtener una "calificación final". Pero los autores de este artículo argumentan que estas puntuaciones no son solo números; son afirmaciones sobre la verdad que tienen fechas de caducidad, límites específicos de aplicación y diferentes niveles de fiabilidad. Si ignoramos estas reglas ocultas y simplemente promediamos todo, terminamos en la "Inflación de la Confianza", una forma elegante de decir que nos volvemos excesivamente optimistas respecto a un sistema que, en realidad, podría estar roto de las formas más peligrosas.

La gran idea del artículo: Deja de promediar, empieza a revisar el eslabón más débil

El artículo, escrito por Sankalp y Shlok Gilda, sostiene que la forma actual de clasificar los modelos de IA es fundamentalmente defectuosa porque trata todos los resultados de las pruebas como si fueran igualmente sólidos y permanentes. Los autores llaman a este problema Inflación de la Confianza. Esto sucede cuando mezclamos diferentes tipos de evidencia —como comprobaciones computacionales automatizadas, opiniones humanas y jueces de IA— en una única puntuación "promedio". El problema es que un solo punto débil puede destruir toda la imagen, pero el promedio oculta esa debilidad.

Para explicar esto, los autores usan una analogía simple: imagina una cadena. La fuerza de toda la cadena no está determinada por la fuerza promedio de todos sus eslabones; está determinada por el eslabón más débil. Si tienes una cadena donde 99 eslabones son de acero y uno es de papel, toda la cadena se romperá bajo el peso de una pluma. Del mismo modo, si un modelo de IA es excelente escribiendo poesía pero terrible diciendo la verdad (factibilidad), una puntuación "promedio" podría hacerlo parecer un buen polivalente. Pero en el mundo real, si esa IA se utiliza para dar consejos médicos, su incapacidad para decir la verdad es un desastre, independientemente de lo bonita que sea su poesía.

El artículo sugiere que dejemos de usar el "promedio" como nuestro método por defecto. En su lugar, deberíamos usar un enfoque de "eslabón más débil", especialmente para tareas críticas de seguridad. Esto significa que si una IA falla incluso una prueba importante, su calificación general debería caer para reflejar ese fallo, en lugar de verse apuntalada por sus otras buenas puntuaciones.

Las tres reglas de la verdad de la IA

Los autores proponen que cada puntuación de prueba de IA debería venir con una "etiqueta" que nos diga tres cosas específicas, de forma muy similar a cómo un paquete de alimentos te indica qué contiene, de dónde viene y cuándo caduca:

1. Formalidad (¿Qué tan fuerte es la evidencia?): No todas las pruebas son iguales. El artículo crea un sistema de "niveles".

   • Nivel F0 (El más débil): Incluye puntuaciones de otros modelos de IA juzgando el trabajo o de opiniones de la multitud (crowdsourcing). Los autores sugieren que estas solo pueden ser confiables hasta un techo de fiabilidad de 0.70, ya que los jueces de IA suelen preferir respuestas largas y sofisticadas aunque sean erróneas.
   • Niveles F1 y F2 (Más fuertes): Estas son comprobaciones computacionales estructuradas o pruebas humanas controladas. Son más fiables, pero incluso las pruebas humanas tienen límites (fiabilidad hasta 0.95).
   • Nivel F3 (El más fuerte): Esta es una prueba matemática formal. Esta es la única que puede alcanzar una fiabilidad perfecta de 1.00.
   • La Regla: Si mezclas una puntuación de Nivel F0 con una de Nivel F2, el resultado total queda limitado al nivel F0 (0.70). No puedes hacer que una prueba débil sea fuerte simplemente añadiéndole una prueba fuerte.

2. Alcance (¿Dónde aplica esto?): Una puntuación de prueba es cierta solo para la situación específica en la que fue probada. Si una IA es probada en preguntas de inglés, esa puntuación no significa que sea buena en español. Si es probada en conocimientos generales, no significa que sea buena en asesoría legal. El artículo argumenta que las puntuaciones deben declarar explícitamente sus límites para que no las usemos accidentalmente en el lugar equivano.

3. Ventanas de Validez (¿Cuándo caduca?): Las puntuaciones de las pruebas tienen una vida útil. Al igual que la leche, se echan a perder. Los autores señalan que una vez que una IA ha visto las preguntas de la prueba durante su entrenamiento (un problema llamado "contaminación"), la puntuación pierde su sentido. Sugieren que cada puntuación debería tener una fecha de vencimiento. Una opinión generada por IA podría ser válida solo por unas pocas semanas, mientras que una prueba matemática formal podría durar para siempre.

Evidencia del mundo real: La "Inflación de la Confianza" en acción

Los autores no solo hablaron de teoría; construyeron un sistema de pruebas real para agentes de IA y encontraron algunos errores alarmantes.

• El error silencioso: Descubrieron que un desajuste entre sus lenguajes de código computacional causó que cada uno de los fallos fuera registrado como un éxito. El sistema les estaba mintiendo, inflando las puntuaciones sin que nadie lo notara. Esto es "inflación de la confianza" a nivel de infraestructura.
• La mentira del "promedio": Probaron esta teoría en un famoso tablero de clasificación público llamado HELM. Analizaron 54 de los mejores modelos de IA en 10 escenarios diferentes.
  • Cuando clasificaron los modelos por la puntuación promedio, los 5 mejores modelos eran un grupo.
  • Cuando los clasificaron por el eslabón más débil (la puntuación más baja en cualquier categoría), los 5 mejores modelos eran un grupo completamente diferente.
  • De hecho, el solapamiento entre las dos listas de los 5 mejores era cero. Los modelos que parecían los mejores "polivalentes" mediante el promedio eran, en realidad, aquellos con las mayores debilidades ocultas. Los modelos que parecían "promedio" según el método antiguo eran en realidad los más fiables porque no tenían fallos catastróficos.

Qué significa esto para el futuro

El artículo concluye con un llamado a la acción para la comunidad de la IA. Quieren que dejemos de esconder las matemáticas detrás de las puntuaciones.

• Muestra tu trabajo: Cada puntuación debe llevar una etiqueta que diga qué tan fuerte es la evidencia, a qué se aplica y cuándo caduca.
• Elige tu veneno: Si debemos combinar puntuaciones, debemos admitir qué método estamos utilizando. ¿Estamos siendo optimistas (usando el promedio) o conservadores (usando el eslabón más débil)? El artículo argumenta que, para la seguridad, deberíamos optar por el método conservador del "eslabón más débil", pero al menos debemos admitir que tomamos esa decisión.
• Control de versiones: Al igual como el código de software, la forma en que registramos los resultados de las pruebas debe tener versiones para que no comparemos accidentalmente manzanas con naranjas.

Los autores admiten que este es un "artículo de posición", lo que significa que proponen una nueva forma de pensar basada en una lógica sólida y experiencia en ingeniería, más que en un nuevo experimento masivo que lo pruebe todo al 100%. Reconocen que ser demasiado conservador podría hacer que los buenos modelos parezcan malos, pero argumentan que es mejor ser precavido que desplegar un sistema que parece excelente en promedio pero que falla de una manera que daña a las personas. Al hacer transparente el "estatus epistémico" (la veracidad y los límites) de las puntuaciones, podemos tomar mejores decisiones sobre qué sistemas de IA confiar.