An Omitted Mode Is a Rare Rule: The Sampling-Verification Danger Law in Continuous Code World Models

En el mundo moderno de la inteligencia artificial, una estrategia popular para enseñar a las máquinas a controlar sistemas físicos —como robots o coches autónomos— es hacer que la máquina primero construya un mapa mental de cómo funciona el mundo. Este mapa, a menudo llamado "modelo de mundo", predice qué sucederá después si se toma una acción específica. Una vez que la máquina tiene este mapa, utiliza un algoritmo de planificación para simular miles de futuros posibles, buscando la secuencia de acciones que conduzca al mejor resultado. El supuesto ha sido durante mucho tiempo que, si este mapa mental es lo suficientemente preciso con los datos que ha visto, será seguro usarlo para la planificación. Si el mapa predice el futuro correctamente en mil pruebas, se asume que es una guía fiable.

Sin embargo, un nuevo estudio desafía este supuesto al observar qué sucede cuando el mundo contiene eventos raros y repentinos que la máquina nunca ha encontrado en su entrenamiento. Imagine un coche que ha aprendido a conducir en una carretera lisa pero que nunca ha visto una pared. Si la pared es lo suficientemente rara como para que el coche nunca chocara contra ella durante su entrenamiento, el mapa mental de la máquina podría simplemente ignorar la existencia de la pared, asumiendo que la carretera continúa para siempre. El peligro es que, cuando la máquina finalmente intente conducir en el mundo real, podría planear una ruta directamente hacia esa pared invisible, creyendo que puede atravesarla. La pregunta que los investigadores plantearon fue si un control de seguridad estándar, que prueba el mapa de la máquina contra muestras aleatorias del mundo, detectaría este tipo específico de ceguera antes de causar un accidente.

Los investigadores configuraron una serie de experimentos controlados para responder a esto, utilizando simulaciones físicas simples como un carro moviéndose a lo largo de una pista o un péndulo oscilando. En estas simulaciones, introdujeron una "regla rara": un alto súbito, como una pared o un suelo, que detendría instantáneamente el movimiento del objeto si lo tocara. Luego, pidieron a un modelo de lenguaje de gran tamaño que escribiera el código para el mapa mental de la máquina, pero ocultaron deliberadamente la existencia de esta pared de los datos de entrenamiento del modelo. Al modelo solo se le mostraron movimientos aleatorios del carro o el péndulo que, por casualidad, evitaban la pared. Debido a que la pared era rara, el modelo a menudo nunca la vio durante su entrenamiento.

Los resultados fueron contundentes. Cuando los investigadores probaron los modelos utilizando un control de seguridad estándar —ejecutando el modelo a través de miles de escenarios aleatorios para ver si coincidía con la física real—, los modelos pasaron con frecuencia. Fueron aceptados como "correctos" porque, en las miles de pruebas aleatorias, la pared nunca fue activada. Sin Sin embargo, cuando estos modelos "verificados" se entregaron a un planificador para controlar el sistema, el planificador dirigiría con confianza el carro o el péndulo directamente hacia la pared oculta. El modelo, al no tener concepto de la pared, predeciría que el objeto pasa directamente a través de ella. El planificador, confiando en esta falsa predicción, conduciría el objeto hacia la pared, donde se quedaría atascado. La máquina quedaría entonces incapaz de alcanzar su objetivo, perdiendo casi todo su potencial de éxito. El estudio encontró que este fallo no fue un error de cálculo, sino una brecha fundamental en el conocimiento: el modelo era ciego a una regla que existía pero que nunca fue muestreada.

Los investigadores descubrieron que la probabilidad de este desastre sigue un patrón matemático preciso basado en la rareza. Si un evento peligroso ocurre en uno de cada cien ensayos aleatorios, y el control de seguridad solo realiza cien ensayos, hay una probabilidad significativa de que el control pierda el evento por completo. Si el control realiza mil ensayos, la probabilidad de perderlo disminuye, pero nunca llega a cero. El estudio demostró que mientras los datos de entrenamiento no incluyan el evento raro, ninguna cantidad de planificación ingeniosa o refinamiento del modelo puede descubrirlo. El modelo permanece ciego, y el control de seguridad, por su propia naturaleza de muestreo aleatorio, no puede garantizar que se haya encontrado el punto ciego.

El estudio también exploró si la máquina podría aprender la regla si se le mostrara la pared durante el entrenamiento. En tareas simples de una sola dimensión, como un carro moviéndose en línea recta, la respuesta fue sorprendentemente positiva. Cuando se le mostró al modelo incluso unos pocos ejemplos del carro golpeando la pared, el modelo de lenguaje fue capaz de escribir el código exacto para detener el carro, "reparando" efectivamente su mapa mental. Aprendió la regla perfectamente. Sin embargo, los investigadores pasaron luego a entornos más complejos, de dos dimensiones, donde la pared era un parche circular sobre una superficie plana. En estos casos, incluso cuando el modelo fue mostrado golpeando el parche, no pudo inferir la forma y la ubicación correctas del límite a partir de la evidencia. En lugar de aprender la regla circular, el modelo inventaba formas incorrectas, como una línea recta o un cuadrado, o simplemente congelaba el objeto en su lugar sin entender por qué. El modelo no pudo generalizar de los pocos ejemplos que vio a la forma completa del obstáculo.

Este hallazgo resalta una limitación crítica en la forma en que estos sistemas aprenden. El estudio mostró que, si bien la máquina puede ser excelente traduciendo una regla que se le dice o se le muestra explícitamente en un contexto simple, tiene dificultades para inferir la forma y la ubicación de una regla compleja a partir de evidencia dispersa. La capacidad de la máquina para "repararse" a sí misma depende fuertemente de la geometría del problema. En casos simples, funciona; en casos complejos de dos dimensiones, falla. Los investigadores probaron varias formas de ayudar al modelo, como darle más ejemplos, cambiar la forma en que se le pedía que pensara o proporcionarle pistas sobre la forma del obstáculo. Ninguna de estas intervenciones funcionó. El modelo falló consistentemente al inducir la regla correcta para el parche bidimensional, sustituyéndola a menudo por una forma más simple e incorrecta.

Las implicaciones de este trabajo son significativas para cualquiera que dependa de la IA para controlar sistemas físicos. Sugiere que los controles de seguridad basados en el muestreo aleatorio son insuficientes para detectar fallos raros pero catastróficos. Un modelo puede pasar todas las pruebas que se le den y, aun así, ser peligrosamente erróneo sobre un evento específico y raro. El estudio demuestra que si un evento peligroso es lo suficientemente raro como para ser omitido por el proceso de muestreo, el modelo permanecerá ciego, y el planificador explotará esa ceguera, conduciendo al fallo. La única forma de garantizar la seguridad es garantizar que los datos de entrenamiento cubran los límites de estos eventos raros, o utilizar un tipo diferente de verificación que no dependa del azar. La investigación concluye que, si bien la IA puede ser notablemente buena aprendiendo de los datos, no puede aprender lo que nunca ha visto, y en el mundo físico, lo que nunca ha visto puede ser exactamente lo que cause el mayor daño.