🧬 biology

Forgetting Is Not a Fix: Path Dependence in Sequential Engram Editing

Este artículo falsifica la Hipótesis de los Estados de Memoria Composicional del marco de trabajo AI Engram al demostrar que la edición de engramas secuencial exhibe dependencia de la trayectoria y comportamiento no conmutativo, probando así que el borrado de memoria no es una solución estable bajo cargas secuenciales acumulativas.

Autores originales: Ferdinand M. Schessl

Publicado 2026-07-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ferdinand M. Schessl

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante y mágica donde cada libro ha sido escrito por un robot superinteligente. Este robot no solo lee libros, aprende de ellos, almacenando hechos e ideas en su propio "cerebro" hecho de números. Los científicos han descubierto recientemente cómo encontrar estos recuerdos específicos dentro del cerebro del robot y borrarlos, como eliminar un solo archivo de una computadora. Este proceso se llama "desaprendizaje de máquina" (machine unlearning), y es algo muy importante porque si un robot aprende algo que no debería (como un secreto o un dato dañino), necesitamos ser capaces de hacer que olvide esa cosa específica sin romper el resto de su cerebro.

Piensa en el cerebro del robot como una red gigante y compleja de cuerdas. Cuando el robot aprende algo, tensa ciertas cuerdas. Para hacer que olvide, los científicos encontraron una manera de cortar justo las cuerdas adecuadas para aflojar ese recuerdo específico. Un estudio reciente sugirió que, si quieres que el robot olvide dos cosas diferentes, no importa cuál cortes primero; el resultado final sería el mismo, como mezclar pintura azul y amarilla para obtener verde, ya sea que viertas primero la azul o la amarilla. Lo llamaron un "variedad conmutativa" (commutative manifold), que es una forma elegante de decir que el orden de las operaciones no cambia el resultado. Pero este artículo plantea una pregunta muy importante: ¿qué pasa si sigues cortando cuerdas una y otra vez? ¿Se cansa el cerebro? ¿Realmente importa el orden?

Este artículo es como un científico de materiales probando un puente. En lugar de comprobar si el puente soporta un coche, conducen un camión pesado sobre él, luego otro, luego otro, para ver si el metal sufre fatiga o se agrieta. Los investigadores tomaron el método exacto del estudio anterior y lo probaron en tres cerebros de robot (modelos) de diferentes tamaños. No solo cortaron un recuerdo, cortaron una secuencia de recuerdos, uno tras otro, y observaron qué pasaba con los que no cortaron.

Esto es lo que descubrieron, y resulta que la idea de que "el orden no importa" es en realidad falsa cuando lo haces repetidamente.

Primero, descubrieron que el cerebro del robot es dependiente de la trayectoria (path-dependent). Esto significa que la historia de lo que hiciste importa. Si cortas el recuerdo A y luego el recuerdo B, el robot termina en un estado completamente diferente que si cortas B y luego A. De hecho, la diferencia fue enorme, siendo de aproximadamente el 81% al 100% de la magnitud de la composición cuando los recuerdos están muy relacionados, y de un 47% al 68% cuando son más distantes. Es como intentar doblar un papel: si lo doblas de izquierda a derecha, termina con una forma distinta a si lo doblas de derecha a izquierda. El cerebro del robot recuerda la secuencia de los cortes, y el resultado final cambia según el orden.

Segundo, descubrieron que el solapamiento hace que el orden sea aún más crítico. Si las dos cosas que quieres que el robot olvide están relacionadas (como la "Torre Eiffel" y el "Louvre", ambos monumentos famosos de París), el orden de corte cambia el resultado casi tanto como el corte mismo. En una prueba específica, cortar el Louvre antes que la Torre Eiffel hizo que el robot olvidara una tercera cosa, totalmente no relacionada, como el Coliseo de Roma, por completo. Pero si cortaron la Torre Eiffel primero, el recuerdo del Coliseo se mantuvo a salvo. El orden de los cortes literalmente decidió si un tercer recuerdo, no tocado, sobrevivía o moría.

Tercero, el artículo muestra que el cerebro del robot acumula fatiga. Cada vez que cortan un recuerdo, las partes del cerebro que no fueron tocadas comienzan a desplazarse y deformarse. Los investigadores midieron esto usando los propios "medidores de deformación" internos del robot (herramientas matemáticas que rastrean cómo se organiza la información del cerebro). Vieron que con cada nuevo corte, estas partes no tocadas se alejaban cada vez más de su estado original. Es como doblar un clip hacia atrás y hacia adelante; incluso si no rompes la parte que estás sujetando, el metal se deforma y cambia con el tiempo.

Finalmente, y de forma más sorprendente, descubrieron que el olvido no es permanente de la manera en que pensábamos. Cuando cortaban un segundo o tercer recuerdo, el robot a veces empezaba a "recordar" la primera cosa que intentaron borrar. En un caso, un recuerdo que casi había desaparecido (con una puntuación de 8.91) volvió a la vida significativamente (cayendo a 4.85) solo porque cortaron un recuerdo diferente y no relacionado después. El acto de editar el cerebro para olvidar una cosa realmente empujó parte del conocimiento borrado de vuelta a la mente del robot.

Entonces, ¿qué significa esto? La idea de que puedes borrar recuerdos en cualquier orden y obtener un resultado perfecto y estable es falsa. Si usas este método para hacer que un robot olvide algo hoy, y luego lo editas de nuevo mañana para que olvide otra cosa, el robot podría recordar accidentalmente la primera cosa de nuevo. El "certificado de borrado" que obtienes hoy podría no ser válido mañana. El cerebro del robot no es un objeto estático donde simplemente puedes eliminar archivos; es un sistema vivo y cambiante donde la historia de tus ediciones cambia el futuro. Los científicos no rompieron al robot, pero demostraron que el "borrador mágico" tiene un límite: funciona de maravilla para un corte, pero si lo usas continuamente, el orden importa, el cerebro se cansa y las cosas olvidadas podrían simplemente regresar.

Resumen Técnico: El olvido no es una solución: Dependencia de la trayectoria en la edición secuencial de engramas

Planteamiento del problema
El artículo aborda una brecha crítica en el trabajo reciente de Kwon et al. (2026) con respecto al "AI Engram", un método que formaliza la localización de la memoria en redes neuronales como un problema inverso restringido. Si bien Kwon et al. demuestran con éxito que las ediciones de memoria única y por pares pueden tratarse como operaciones aritméticas lineales en un "variedad conmutativa" (Apéndice F), su evidencia se limita a pruebas de ciclo único. Ellos difieren explícitamente la cuestión de la "dinámica temporal" en el aprendizaje continuo para trabajos futuros.

El problema central investigado aquí es si la hipótesis de una variedad conmutativa —donde la integración de las ediciones A y B alcanza un equilibrio consistente independientemente de la secuencia— se mantiene bajo carga secuencial. Los autores argumentan que las pruebas de ciclo único son estructuralmente incapaces de revelar la acumulación de fatiga, la dependencia de la trayectoria o los efectos de la historia de la carga, de forma análoga a cómo un solo ciclo de tensión en la ciencia de materiales no puede revelar la fatiga. El artículo pone a prueba si el "estado olvidado" sigue siendo un punto fijo cuando un modelo se somete a ediciones secuenciales repetidas.

Metodología
El estudio emplea un marco de "pruebas de materiales", tratando los pesos de la red neuronal como un espécimen sometido a un protocolo de fatiga.

Implementación: Los autores utilizan la implementación de referencia de los autores originales (ai-engram) y el régimen de edición exacto seleccionado para el benchmark TOFU LLM ( $\alpha = 0.6$ fijo).
Protocolo Experimental: Se comparan dos brazos distintos a través de tres "cargas" de modelos (Qwen3-0.6B, TinyLlama-1.1B-Chat y Qwen2-0.5B-Instruct):
- Brazo 1 (Composición Zero-Shot): Todos los engramas se extraen del modelo virgen ( $M_0$ ) y se aplican secuencialmente como aritmética lineal. Esto representa la operación de la "variedad conmutativa" teórica.
- Brazo 2 (Secuencia Recalibrada): Después de cada corte, el siguiente engrama se extrae del estado actual del modelo. Esto representa la realidad del despliegue secuencial (por ejemplo, solicitudes de eliminación impulsadas por el cumplimiento que llegan a lo largo del tiempo).
Conceptos: Se utilizan seis conceptos con solapamiento semántico gradual (por ejemplo, Torre Eiffel/Louvre para alto solapamiento; Insulina/Python para dominios distantes).
Métricas:
- Dependencia de la trayectoria: Distancia de peso (Frobenius relativo) entre el Brazo 1 y el Brazo 2.
- No conmutatividad: Distancia de peso entre órdenes de corte (A→B vs. B→A).
- Deriva del Superviviente (Survivor Drift): Crecimiento monotónico en las covarianzas capa-entrada de los conceptos no cortados (las estadísticas suficientes del propio método), que sirven como "galgas extensométricas".
- Daño Colateral: Desplazamientos en la Log-Verosimilitud Negativa (NLL) de los conceptos no cortados.

Contribuciones Clave

Protocolo Secuencial: Un protocolo de dos brazos pre-registrado que pone a prueba los límites de la hipótesis de composición de engramas utilizando el código y los parámetros de los autores originales.
Replicación Cross-Architecture: Validación a través de tres modelos que abarcan dos proveedores y dos familias de arquitectura (0.5B–1.1B de parámetros).
Falsificación de la Hipótesis de la Variedad Conmutativa: El artículo demuestra que la hipótesis de la variedad conmutativa en el Apéndice F de Kwon et al. (2026) no se sostiene para la edición secuencial.
Condiciones Límite: Identificación de los límites de capacidad donde las estructuras de daño colateral se rompen y el descubrimiento de que el conocimiento erradicado puede retornar parcialmente.

Resultos
Cuatro hallazgos primarios se replican en las tres cargas de modelos:

Dependencia de la Trayectoria (V1): El Brazo 1 y el Brazo 2 divergen significamente. Los estados de peso finales difieren en un 61–71% de la magnitud total de la edición. El estado certificado por la composición zero-shot no es el estado de un artefacto editado secuencialmente.
No Conmutatividad (V2): El orden de corte no es intercambiable. El efecto es ordenado por solapamiento: los pares de conceptos con alto solapamiento (ej. Eiffel/Louvre) producen diferencias de orden de hasta la escala de una edición completa (relación de distancia de peso 0.81–1.00), mientras que los pares distantes muestran efectos menores (0.47–0.68). En un caso, el orden de corte de dos monumentos de París determinó si un tercer concepto no involucrado (el Coliseo) sobrevivía (NLL 0.85 vs. 6.50 nats).
Deriva del Superviviente (V4): Las covarianzas capa-entrada de los conceptos supervivientes (no cortados) derivan monotónicamente con cada corte subsecuente. Esta "acumulación de fatiga" es registrada por las propias estadísticas suficientes del método, demostrando que la historia de la carga se acumula incluso en partes de la red que no han sido tocadas.
Daño Colateral y Capacidad (V3): La estructura de proximidad del daño colateral (donde los conceptos cercanos sufren más) se mantiene solo cuando existe reserva de capacidad. En magnitudes de edición relativa más altas (específicamente en el modelo más pequeño de 0.5B), el daño colateral se vuelve "de banda ancha", afectando indistintamente a conceptos distantes.

Hallazgo Adicional: El Estado Olvidado No es un Punto Fijo
En dos de las tres cargas, el conocimiento que fue erradicado con éxito (NLL alta) retornó parcialmente tras cortes subsecuentes no relacionados. Por ejemplo, en la carga de Qwen2-0.5B, la NLL de un concepto erradicado cayó de 8.91 a 4.85 nats después de dos cortes posteriores, acercándose al valor base. Esto indica que el "estado olvidado" no es estable; la redistribución de pesos durante nuevas ediciones puede restaurar inadvertidamente las asociaciones eliminadas.

Significancia y Reivindicaciones
El artículo concluye que la Hipótesis de los Estados de Memoria Composicionales (Apéndice F de Kwon et al., 2026) es falsificada para la edición secuencial. Si bien los resultados de edición única y el estimador de forma cerrada del artículo original permanecen intactos, la afirmación de que las ediciones forman una variedad conmutativa independientemente de la secuencia es incorrecta.

La significancia práctica reside en el olvido como cumplimiento (ej. Derecho al Olvido). Los hallazgos demuestran que un certificado de erradicación emitido hoy no certifica el estado del artefacto tras su próxima edición. Un modelo que pasa una auditoría de eliminación hoy puede restaurar parcialmente la asociación eliminada tras una edición rutinaria y no relacionada. Por lo tanto, la verificación debe ejecutarse de nuevo después de cada edición subsecuente, o el proceso de edición debe garantizarse como estable bajo composición—una garantía que el método actual no proporciona.

Los autores declaran explícitamente que no cuestionan los resultados de edición única, el marco de identificación de engramas ni el estimador de forma cerrada del trabajo original; solo falsifican la hipótesis específica sobre la composición de ediciones en regímenes secuenciales.

Más como este