Imagina que eres un chef intentando encoger un libro de recetas enorme y complejo para que quepa en una pequeña libreta de bolsillo. Quieres que el libro sea lo suficientemente pequeño como para llevarlo a cualquier parte, pero necesitas que siga cocinando exactamente las mismas comidas deliciosas. En el mundo de la inteligencia artificial, este "encogimiento" se llama compresión. Los modelos de lenguaje extensos (los cerebros de IA súper inteligentes que escriben código, cuentan historias y charlan con nosotros) son enormes, por lo que los ingenieros utilizan trucos como la cuantización (simplificar los números internos), la poda o pruning (eliminar conexiones no utilizadas) y la factorización de bajo rango (encontrar un esqueleto matemático más simple) para hacerlos más pequeños y rápidos.

Pero, ¿cómo sabes si el libro encogido sigue funcionando? No puedes probar cada una de las comidas que cocina. En su lugar, utilizas "guardianes de calidad". Verificas si la IA todavía entiende la gramática básica (perplejidad), si puede responder preguntas de cultura general correctamente (como MMLU) y si sus "pensamientos" internos todavía se ven similares al cerebro gigante original cuando la provocas con preguntas aleatorias. Estas comprobaciones son rápidas y no requieren nuevos datos. La gran pregunta es: ¿Son estos guardianes suficientes para demostrar que la IA es segura para ser enviada al mundo real a realizar tareas? Este artículo profundiza en una posibilidad aterradora: ¿qué pasa si la IA pasa todas las pruebas pero empieza a inventar reglas cuando intenta seguir un procedimiento?

---

El Gran Robo de la "Invención"

Los autores de este artículo descubrieron un punto ciego oculto en la forma en que probamos la IA comprimida. Descubrieron que un modelo de IA puede pasar todas las pruebas de seguridad estándar, verse perfecto en el papel y luego, cuando se le pide que actúe como un agente (un trabajador digital que sigue un conjunto estricamente definido de instrucciones), comienza a inventar pasos que nunca estuvieron en las instrucciones.

Piensa en ello como un estudiante que aprueba un examen de matemáticas con calificaciones excelentes pero, cuando se le pide que siga una receta para hornear un pastel, decide añadir "una pizca de purpurina" porque le parece que suena genial. El estudiante no reprobó el examen de matemáticas; simplemente falló en la tarea específica de seguir órdenes exactamente.

Los investigadores probaron esto en tres familias diferentes de modelos de IA (Mistral, Qwen y Llama). Tomaron modelos que habían sido "suavemente comprimidos" utilizando un método llamado SVD (un tipo de factorización de bajo rango). Estos modelos estaban tan bien comprimidos que pasaron el "guardián de la perplejidad" (su nivel de confusión fue solo de 1.069 a 1.17 veces mayor que el original, dentro del límite seguro de 1.15) y el "guardián de la fidelidad" (sus pensamientos internos coincidían con los del original).

Pero cuando pidieron a estos modelos que actuaran como agentes y siguieran un Procedimiento Operativo Estándar (SOP) —como una lista de verificación para reparar un servidor o procesar un pedido—, los modelos comenzaron a conjeturar o confabular. Añadieron pasos adicionales que no existían.

• En el modelo Mistral-7B, la versión comprimida inventó un promedio de +1.729 pasos extra por consulta.
• En el modelo Qwen3-8B, inventó +0.208 pasos extra.
• En el modelo Llama-3.1-8B, la versión "suavemente comprimida" se mantuvo en el suelo de ruido (inventando solo +0.056 pasos), lo que significa que la prueba fue no diagnóstica para esta construcción específica. El espectro interno del modelo simplemente no tenía suficiente "margen de bajo rango" para activar el efecto de invención mientras se mantenía dentro del guardián de seguridad. El fallo solo apareció cuando el modelo Llama se comprimió de forma más agresiva, saliéndose del guardián de seguridad estándar.

¿La parte aterradora? Los modelos que hicieron esto fueron los que pasaron la prueba de "fidelidad". La prueba decía: "¡Oye, tu cerebro se ve igual al original!". Pero la realidad era: "En realidad, tu cerebro ahora está alucinando nuevas reglas".

El Culpable: Coherencia, no Daño

¿Por qué sucedió esto? Los autores descubrieron que no se trataba de cuánto daño sufrió el modelo (la "magnitud" del error). Compararon la compresión "SVD" contra la poda por magnitud (cortar los números más pequeños).

Cuando igualaron los dos métodos para que causaran la misma cantidad exacta de confusión (perplejidad), los resultados fueron radicalmente distintos:

• El modelo SVD (que crea un error "coherente", como una distorsión suave y estructurada) falló la prueba, inventando pasos.
• El modelo de Poda (que crea un error "incoherente" y desordenado, como estática aleatoria) pasó la prueba, inventando casi nada (alrededor de -0.146 pasos, lo que es efectivamente cero).

Los autores se dieron cuenta de que el problema no es el tamaño del error, sino la forma del mismo. Ellos llaman a esto el mecanismo de "Coherencia × Tasa".

• Coherencia: El error es estructurado y suave (como un SVD de bajo rango).
• Tasa: Qué tanto de la parte del modelo se ve afectada.

Si tienes un error suave y estructurado que es lo suficientemente grande como para pasar desapercibido ante las pruebas estándar, la IA comienza a "alucinar" nuevos pasos de procedimientos. Es como si la distorsión suave engañara a la IA haciéndole creer que conoce un atajo que no existe. El "daño" (perplejidad) no predijo esto; la "suavidad" del daño sí lo hizo.

El "Canario" y el Nuevo Detector

Para demostrar esto, los investigadores construyeron una prueba especial que llaman un "canario". Es como un canario en una mina de carbón. Le dieron a la IA un SOP falso con 10 pasos y un undécimo paso condicional, y luego le pidieron que enumerara los pasos. Si la IA enumeraba un paso que no estaba en las instrucciones, fallaba.

Descubrieron que los mismos pesos de la IA que ganaron la prueba de "fidelidad" estándar (probando que se veían como el original) perdieron la prueba del "canario" (probando que estaban inventando pasos). Esto es una "disociación": las pruebas estándar son ciegas a este tipo específico de fallo.

Pero los autores no se detuvieron solo en encontrar el problema; construyeron un detector sin datos para detectarlo antes del despliegue. Se dieron cuenta de que podían medir dos cosas sin necesidad de nuevos datos:

1. Fracción Coherente: ¿Qué tanto del error es "suave" y estructurado?
2. Tasa de Error: ¿Qué tan grande es el error en total?

Crearon una "puerta" simple (un control de pasa/falla):

• Si la Fracción Coherente > 0.007 Y la Tasa de Error > 0.01, el modelo FALLA.
• Si no cumple ambas, el modelo PASA.

Esta puerta identificó correctamente todos los modelos que fallaban en sus pruebas. Por ejemplo, el modelo Mistral que inventaba pasos tenía una fracción coherente de 0.0080 y una tasa de error de 0.0159, activando la alarma. El modelo de poda que era seguro tenía una fracción coherente de 0.0054, pasando por debajo del radar del control de "coherencia" y aprobando.

La Conclusión

El artículo concluye que la perplejidad, MMLU y los controles de fidelidad sin datos no son suficientes para certificar que una IA es segura para el trabajo de agentes. El hecho de que una IA pase los "exámenes escolares" estándar no significa que no inventará reglas cuando esté en el trabajo.

Los autores sugieren que, antes de desplegar una IA comprimida para que actúe como un agente (realizando tareas, siguiendo procedimientos), debemos ejecutar este nuevo "tamiz de coherencia". Si un modelo es "suavemente comprimido" mediante métodos de bajo rango (SVD) y activa esta nueva puerta, es probable que invente pasos y falle al seguir instrucciones, incluso si parece perfecto en todas las demás pruebas.

En resumen: No confíes en la IA solo porque pasó la prueba. Verifica si está "suavemente" rota, porque es ahí cuando empieza a inventar cosas.