The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

El dilema del detective: Cuando el mapa no coincide con el territorio

Imagina que estás enseñando a un robot a navegar por un laberinto. No quieres que el robot simplemente memorice el camino; quieres que construya un "modelo de mundo" en su cerebro: un mapa mental que prediga qué pasará si gira a la izquierda o a la derecha. Si el robot puede predecir el futuro con precisión, puede planificar con antelación y resolver acertijos complejos. Este es el sueño de los modelos de mundo latentes: sistemas de IA que aprenden las reglas ocultas de su entorno para poder actuar de forma inteligente sin necesidad de que un humano les lleve de la mano.

Pero aquí está la parte difícil: ¿cómo sabes si el mapa mental del robot es realmente bueno? Normalmente, los científicos comprueban esto viendo qué tan bien el robot predice el siguiente paso. Si puede adivinar perfectamente el siguiente fotograma de un vídeo, asumimos que entiende el mundo. Sin embargo, este artículo plantea una pregunta peligrosa: ¿Qué pasa si el robot es un genio prediciendo el siguiente segundo, pero un desastre total al planificar para el siguiente minuto?

Esta historia proviene del mundo del aprendizaje automático (machine learning), específicamente del estudio de cómo la IA aprende a simular la realidad. Es un campo donde los investigadores construyen cerebros digitales para comprender la física, el movimiento y la causa y efecto. Hay mucho en juego porque, si construimos robots o coches autónomos basados en modelos que parecen buenos sobre el papel pero fallan en el mundo real, las consecuencias podrían ser desastrosas. Este artículo es la historia de un equipo de investigadores independientes que decidieron jugar a ser "detectives" con un nuevo y famoso método de IA llamado LeWorldModel. Querían ver si el truco de magia realmente funcionaba, o si el mago solo estaba ocultando algunos pasos cruciales en las instrucciones.

---

El caso de las instrucciones perdidas

Los investigadores se propusieron reproducir un resultado de un artículo que afirmaba que su nueva IA, LeWorldModel, podía resolver un laberinto sencillo de dos habitaciones aproximadamente el 87% de las veces. Esto parecía bajo en comparación con otros métodos que alcanzaban el 97–100%, pero el autor afirmaba que su método era especial porque era más simple y no necesitaba trucos sofisticados para funcionar.

El equipo independiente, liderado por Joyjeet Singh, alquiló potencia de cómputo (unos 24 dólares de tiempo de GPU) para reconstruir la IA desde cero. Esperaban ver la misma tasa de éxito del 87%. En su lugar, encontraron un caos de secretos ocultos.

Las cuatro reglas ocultas
El equipo descubrió que las instrucciones del artículo original eran como una receta que olvidó mencionar los ingredientes más importantes. Si seguías únicamente los archivos de configuración publicados, la IA no aprendía nada. Los investigadores encontraron cuatro "convenciones no documentadas" enterradas en el código que lo determinaban todo:

1. Recopilación densa de acciones: La IA necesitaba ver cada pequeño movimiento que hacía el robot, no solo algunos fragmentos.
2. Amplitud programática: El tamaño de una parte específica del cerebro estaba determinado por una fórmula matemática oculta, no por un número en el archivo de configuración.
3. Normalización de ImageNet: Las imágenes enviadas a la IA tenían que procesarse de una manera muy específica (usando estándares de "ImageNet"), no simplemente dividiendo los colores por 255.
4. Acciones con puntuación Z (Z-Scored): Los movimientos del robot debían ajustarse matemáticamente basándose en todo el conjunto de datos, eliminando primero los errores extraños de "NaN" (no es un número).

Sin estas cuatro correcciones ocultas, el "predictor" de la IA (la parte que adivina el futuro) ni siquiera podía converger. Era como intentar hornear un pastel con una receta que olvidó decir "añadir harina" o "precalentar el horno".

El fantasma en la máquina
Incluso después de arreglar la receta, el equipo se topó con un muro. En tres de sus ejecuciones de entrenamiento, la IA parecía estar fallando. La "pérdida de validación" (una puntuación que mide qué tan mala es la IA) oscilaba salvajemente, sugiriendo que el modelo estaba roto. ¡Pero la "pérdida de entrenamiento" (qué tan mala era con los datos con los que estaba aprendiendo) en realidad estaba mejorando!

Encontraron al culpable: una capa de normalización por lotes (Batch Normalization). Piensa en esto como un termostato en el cerebro de la IA. En el modo incorrecto, este termostato estaba roto, amplificando los errores diminutos por un factor de 300. Hacía que la IA pareciera estar fallando cuando en realidad estaba aprendiendo perfectamente. Una vez que "recalibraron" este termostato, la verdadera capacidad emergió.

Los dos mapas diferentes
El equipo también descubrió que el artículo original había publicado dos conjuntos diferentes de reglas para probar la IA, y daban resultados totalmente distintos:

• La prueba "Corta": El archivo de configuración del código decía que se probara la IA con un objetivo a 25 pasos de distancia y un presupuesto de 50 pasos. Bajo esta regla, la propia IA de los autores originales alcanzó un 84.0%.
• La prueba "Larga": El apéndice del artículo decía que se probara con un objetivo a 100 pasos de distancia y un presupuesto de 150 pasos. Bajo esta regla, la misma IA solo alcanzó un 14.0%.

Los investigadores se dieron cuenta de que la tasa de éxito del "87%" que el artículo reclamaba probablemente se basaba en la prueba "Corta", pero la prueba "Larga" (la que describía el apéndice) era mucho más difícil y revelaba la debilidad de la IA.

La gran sorpresa: La precisión no significa habilidad

El descubrimiento más impactante no fue sobre las reglas ocultas; fue sobre lo que significa ser "bueno".

El equipo entrenó tres versiones diferentes de la IA:

1. Una "mala" con altos errores de predicción.
2. Una "media" (la versión de los autores originales).
3. Una "genial" con errores de predicción muy bajos (la versión corregida del equipo).

La victoria a corto plazo:
Cuando el objetivo estaba cerca (25 pasos de distancia), la IA "genial" era la mejor, alcanzando un 94.0% de éxito. La IA "mala" era la peor, con un 78.0%. Esto tenía sentido: mejor predicción = mejor planificación.

El desastre a largo plazo:
Pero cuando el objetivo estaba lejos (100 pasos de distancia), las reglas cambiaron por completo.

• La IA "genial" (el predictor más preciso) se convirtió en la peor planificadora, alcanzando solo un 20.0% de éxito.
• La IA "mala" (el predictor menos preciso) se convirtió en la mejor planificadora, alcanzando un 80.0% de éxito.

La IA más precisa era tan confiada en sus predicciones perfectas que realizaba movimientos enormes y temerarios, sobrepasando el objetivo y terminando a 116.6 unidades de distancia (¡más lejos que un movimiento aleatorio!). La IA "mala", al no estar segura de sus predicciones, se movía con más cautela y realmente alcanzaba el objetivo.

Lo que esto significa para el futuro

Este artículo no dice que el método de IA sea inútil. De hecho, una vez corregidas las reglas ocultas, la IA del equipo alcanzó un 94.0% en la prueba corta, superando la afirmación original. La representación (el mapa mental) era sólida; el robot sabía dónde estaba.

Sin embargo, el artículo lanza una fuerte advertión: No puedes juzgar a un planificador por qué tan bien predice el siguiente paso.

En este laberinto específico, ser un "predictor perfecto" de hecho hizo que la IA fuera peor en la planificación a largo plazo. Los investigadores descubrieron que los modelos más precisos estaban tan seguros de su camino que se comprometían con acciones extremas que los desviaban del rumbo.

El equipo también encontró que un experimento pre-registrado (una prueba planeada de antemano para ver si la IA era mejor navegando hacia objetivos en la misma habitación frente a objetivos en habitaciones distintas) funcionó en una versión de la IA, pero falló por completo en otra. Esto sugiere que la "magia" de la IA podría ser específica de la versión exacta del modelo, no una propiedad general del método.

La conclusión
El artículo concluye que si quieres construir una IA que pueda planificar a largo plazo, no debes elegir simplemente la que predice el futuro con mayor precisión. De hecho, en esta tarea, elegir el modelo más preciso habría significado elegir al peor planificador. La lección para el futuro es que necesitamos nuevas formas de probar la IA que vayan más allá de las simples puntuaciones de predicción, porque un mapa perfecto no siempre significa que sepas cómo conducir el coche.