From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

Imagina que estás tratando de entender qué hace que una persona sea "inteligente". Durante mucho tiempo, los científicos han intentado medir esto dándole a las personas una lista gigante de diferentes tareas: resolver acertijos matemáticos, recordar historias, detectar patrones en formas y comprender el lenguaje. Los llaman "dominios". La idea es que si te va bien en todos ellos, tienes una inteligencia alta. Pero hay un inconveniente: cuando aplicamos estas pruebas, solemos tratar cada tarea como si tuviera la misma importancia. Es como calificar a un estudiante dándole el mismo peso a su capacidad para atarse los zapatos que a su capacidad para escribir un poema. Además, estas pruebas suelen ser "instantáneas". Realizas la prueba una vez, obtienes una puntuación y eso es todo. No sabes si el estudiante seguirá siendo capaz de resolver el acertijo la próxima semana, o si se desmoronará si la prueba se vuelve un poco más difícil o si esperas unos días antes de volver a intentarlo.

Este es el mundo de la evaluación de la Inteligencia Artificial General (AGI). La AGI es el sueño de construir una computadora que sea tan inteligente y flexible como un humano, capaz de aprender y resolver problemas en cualquier situación, no solo en la para la que fue programada. Actualmente, los investigadores prueban estos sistemas de IA utilizando esas mismas listas de verificación "instantáneas". Pero si queremos saber si una IA es verdaderamente "generalmente" inteligente, necesitamos saber si sus capacidades son reales y duraderas, o si son solo un truco de suerte que se rompe cuando las cosas se ponen estresantes. Este artículo plantea una gran pregunta: ¿Cómo dejamos de simplemente contar puntos y empezamos a medir la estabilidad de una mente de máquina?

Los autores de este artículo sugieren que la forma en que estamos probando la IA es un poco como juzgar un coche solo por lo rápido que puede conducir en línea recta en un día soleado. Puede que parezca rápido, pero eso no nos dice si el motor aguantará en un camino con baches o si los frenos funcionarán cuando esté lloviendo. Argumentan que la inteligencia real —ya sea en humanos o en máquinas— no es solo una lista de habilidades. En cambio, es más bien un clúster de propiedades homeostáticas. Esa es una forma elegante de decir que es un grupo de capacidades que permanecen unidas porque existen mecanismos internos que las mantienen conectadas, incluso cuando las cosas se complican o cambian.

Piensa en la inteligencia como una fogata bien construida. Los "dominios" (matemáticas, lenguaje, lógica) son los troncos. Pero el fuego en sí es el calor y la llama que mantiene todos los troncos ardiendo juntos. Si solo apilas los troncos (las habilidades) pero no tienes el mecanismo para mantenerlos ardiendo (la parte homeostática), un poco de viento (un estresor o un retraso) apagará el fuego. El artículo sugiere que las pruebas actuales solo comprueban si los troncos están ahí, pero ignoran si el fuego puede sobrevivir a una ráfaga de viento.

Los autores proponen dos cambios principales para solucionar esto. Primero, dicen que no deberíamos tratar cada pregunta de la prueba como igual de importante. Al igual que algunos troncos son más densos y arden con más fuerza, algunas habilidades son más "centrales" para mantener todo el fuego en marcha. Sugieren utilizar un nuevo método de puntuación llamado puntuación de prioridad de centralidad (centrality-prior score). Esto pesaría las pruebas basándose en cuánto ayuda una habilidad específica a mantener estable todo el sistema, tomando ideas de cómo se estudia ya la inteligencia humana. Es como calificar a un estudiante más severamente por su capacidad de aprender cosas nuevas que por su capacidad de memorizar un dato aislado.

Segundo, quieren dejar de depender de instantáneas de un solo momento. En su lugar, proponen un Índice de Estabilidad de Clúster. Esto no se trata solo de obtener una puntuación alta una vez; se trata de demostrar que la IA puede mantener esa puntuación a lo largo del tiempo y bajo presión. Sugieren probar la IA de tres maneras específicas:

1. Persistencia del Perfil: ¿Recuerda la IA cómo hacer las cosas días o semanas después?
2. Aprendizaje Duradero: Si le enseñas algo nuevo, ¿se queda grabado o lo olvida inmediatamente?
3. Corrección de Errores: Si la IA comete un error, ¿puede corregirlo por sí misma sin colapsar?

El artículo no pretende haber construido aún una prueba perfecta ni que hayamos resuelto ya el problema de medir la AGI. En su lugar, los autores sugieren que estos nuevos métodos serían mejores. Ofrecen un plano para que los laboratorios prueben estas ideas. Proponen que estas pruebas pueden realizarse incluso si los laboratorios no conocen exactamente cómo está construida la IA por dentro (un enfoque de "caja negra"). También hacen algunas predicciones sobre lo que sucedería si utilizáramos estas nuevas pruebas, sugiriendo que muchos sistemas de IA actuales podrían verse muy diferentes —quizás menos "generalmente" inteligentes y más frágiles— una vez que empecemos a comprobar la estabilidad y la resistencia al estrés.

En resumen, el artículo argumenta que necesitamos pasar de marcar casillas a comprobar si el fuego se mantiene encendido. Al dar más peso a las habilidades importantes y probar si la IA puede manejar los retrasos y los errores, podríamos finalmente obtener una imagen más clara de si una máquina es verdaderamente inteligente o si solo está fingiendo serlo.