En el mundo de la inteligencia artificial, una revolución silenciosa está cambiando la forma en que los expertos juzgan a las máquinas que escriben código, resuelven problemas y generan texto. Durante años, la industria se ha centrado en una sola pregunta: ¿qué tan inteligente es el modelo? Los investigadores han medido esto observando la mejor respuesta posible que una máquina puede producir o su puntuación promedio en una prueba. Este enfoque asume que si un modelo puede obtener la respuesta correcta una vez, es un éxito. Sin embargo, para cualquiera que intente utilizar estas herramientas para un trabajo de ingeniería real, esta métrica pasa por alto el factor más crítico. Una herramienta que funciona perfectamente la mitad del tiempo y falla estrepitosamente la otra mitad es inútil para construir sistemas fiables, incluso si sus mejores momentos son brillantes. La nueva frontera no se trata de qué tan alto puede saltar la máquina, sino de qué tan consistentemente aterriza sobre sus pies. Este cambio desplaza el enfoque de la capacidad bruta hacia la precisión, preguntando no solo si la máquina puede hacer el trabajo, sino si puede hacer el mismo trabajo de la misma manera cada vez que se le solicita.

George Andrikopoulos, un investigador independiente con sede en Londres, sostiene que la forma actual de comparar los sistemas de inteligencia artificial está midiendo lo que no debe. Sugiere que, si bien los modelos más avanzados se han vuelto increíblemente precisos —en el sentido de que su producción promedio da en el blanco—, aún no se han vuelto consistentes. La precisión, en este contexto, se refiere a qué tan agrupados están los resultados cuando se realiza la misma solicitud repetidamente. Imagine pedirle a una máquina que resuelva un problema de ingeniería específico diez veces. Un sistema preciso le dará una respuesta correcta y sensata nueve o diez veces. Un sistema impreciso podría darle una respuesta correcta cinco veces, pero las otras cinco veces podría producir algo extraño, roto o completamente ajeno al tema. La industria celebra actualmente el mejor intento, pero las personas que construyen con estas herramientas necesitan conocer el grupo. Si los disparos están dispersos, la herramienta es poco fiable, sin importar cuán bueno sea el centro del grupo.

Para resolver esto, Andrikopoulos desarrolló una forma sencilla de medir esta consistencia sin depender de sistemas de calificación complejos y circulares. En lugar de pedir a otra inteligencia artificial que juzgue el trabajo, lo que puede introducir sus propios errores, el método utiliza tareas que tienen un resultado binario claro: ¿el código compila?, ¿pasan las pruebas?, ¿el tipo de archivo es correcto? Estos son hechos que pueden ser verificados por una computadora sin ninguna conjetura. El proceso consiste en tomar un pequeño conjunto de estas tareas verificables y ejecutarlas muchas veces en una instancia fresca del modelo cada vez. Al contar cuántas veces tiene éxito el modelo frente a cuántas veces falla, los investigadores pueden ver la forma de los resultados. Si el modelo pasa todas las veces, o falla todas las veces, es preciso. Si pasa la mitad de las veces y falla la otra mitad, está disperso e impredecible.

El artículo presenta una regla de decisión clara basada en estas mediciones. Si un modelo falla consistentemente de la misma manera, es un "grupo compacto" que simplemente está descentrado. Este es un buen problema de tener, porque significa que un operador humano puede escribir una regla específica para corregir el error, efectivamente "ajustando la mira" de la máquina. Sin embargo, si el modelo falla de muchas maneras diferentes, el grupo está disperso. En este caso, ninguna escritura de reglas ayudará, porque los errores son aleatorios. La única solución para un grupo disperso es cambiar el modelo mismo o ajustar cómo genera sus respuestas. Esta distinción es vital porque le dice a los ingenieros si deben dedicar tiempo a escribir instrucciones para la máquina o si simplemente deberían cambiar de máquina.

Una prueba del mundo real ilustra el poder de este enfoque. Los investigadores tomaron un conjunto específico de tareas de codificación y las ejecutaron cinco veces en un modelo líder sin ninguna instrucción especial. El modelo falló al pasar una tarea de validación específica en cada una de las ocasiones. Debido a que falló de la misma manera exacta cada vez, los investigadores supieron que era un error consistente, no un fallo aleatorio. Analizaron el fallo y descubrieron que la máquina estaba cometiendo un error lógico específico al manejar números demasiado grandes. Escribieron una única y simple regla para corregir esta lógica. Cuando ejecutaron las mismas cinco tareas nuevamente con la nueva regla implementada, el modelo pasó todas las veces. La tasa de éxito saltó de cero a cien por ciento. Esto demostó que la máquina era lo suficientemente precisa como para ser corregida; solo necesitaba que se ajustara la mira.

El estudio también reveló un límite sorprendente en cuánto podemos mejorar estos sistemas con reglas escritas. Los investigadores intentaron crear un nuevo conjunto de tareas de prueba basadas en las mismas reglas que habían escrito, con la esperanza de medir cuánto valor añadían esas reglas. Descubrieron que los modelos más avanzados ya eran tan capaces que seguían naturalmente estas buenas prácticas sin que se les indicara. Los modelos pasaban estas pruebas "basadas en reglas" perfectamente incluso sin las instrucciones adicionales. Esto significa que, para los errores más comunes, las máquinas ya han aprendido la disciplina por sí mismas. El verdadero valor de un libro de reglas, por lo tanto, no es enseñar a la máquina lo que ya sabe, sino encontrar las brechas raras y ocultas donde la máquina todavía se dispersa o falla consistentemente. Estas brechas no pueden predecirse de antemano; deben encontrarse mediante la medición del trabajo real de la máquina.

En última instancia, esta investigación cambia la conversación sobre la inteligencia artificial de un concurso de quién es el más inteligente a una evaluación práctica de quién es el más fiable. La industria ha pasado años construyendo tablas de clasificación que posicionan a los modelos según su rendimiento máximo, pero esas clasificaciones no le dicen a un usuario si la herramienta funcionará para su proyecto específico. Al medir la compacidad del grupo, los ingenieros pueden tomar decisiones informadas sobre qué modelos usar y dónde invertir su tiempo. Si un modelo es preciso pero está ligeramente fuera de objetivo, un humano puede arreglarlo con una regla. Si está disperso, ninguna regla lo salvará. El futuro de trabajar con estas máquinas depende no de encontrar la respuesta perfecta, sino de comprender el patrón de las respuestas y saber cuándo ajustar la mira y cuándo cambiar el rifle.