💻 computer science

Testing History Dependence Between In-Context and In-Weights Learning

Este estudio demuestra que, si bien el orden del entrenamiento (acercarse a una mezcla equilibrada desde diferentes direcciones) crea una diferencia transitoria y mensurable en la fuerza de los mecanismos de aprendizaje en contexto frente a los de pesos, no resulta en una histéresis persistente ni en organizaciones de circuitos causales fundamentalmente diferentes en transformadores pequeños.

Autores originales: Zuo Yuchen

Publicado 2026-08-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zuo Yuchen

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a contar chistes. Puedes enseñarle de dos maneras. Primero, puedes mostrarle algunos ejemplos justo antes de que hable, como una hoja de referencia sobre la mesa. El robot lee la hoja de referencia y deduce el remate basándose en lo que ve en ese mismo instante. Esto se llama Aprendizaje en Contexto (In-Context Learning). Es como si el robot estuviera improvisando sobre la marcha. Segundo, puedes practicar con el robot durante horas hasta que memorice los chistes tan bien que ya no necesite la hoja de referencia. Los chistes ahora están grabados a fuego en su cerebro. Esto es el Aprendizaje en los Pesos (In-Weights Learning).

Durante mucho tiempo, los científicos se preguntaron: si le das al robot exactamente la misma mezcla de hojas de referencia y práctica, ¿siempre resuelve el problema de la misma manera? O, ¿importa cómo llegó allí? ¿Empezó memorizando y luego aprendió a leer la hoja de referencia? ¿O empezó leyendo la hoja de referencia y luego memorizó los chistes? Esta pregunta trata sobre la dependencia de la historia. En el mundo de la física, esto es similar a la histéresis —como un imán que recuerda hacia qué dirección fue tirado, incluso después de dejar de tirar—. Si el cerebro de un robot tiene histéresis, su estado actual no depende solo de lo que está viendo ahora; también depende del camino que recorrió para llegar ahí. Esto es importante porque, si los modelos de IA son así, es posible que no podamos predecir su comportamiento simplemente mirando sus datos actuales; necesitaríamos conocer toda su historia de entrenamiento.

Este artículo toma a un robot pequeño y controlado (un modelo de IA diminuto) y lo somete a una prueba específica para ver si tiene este tipo de "memoria del camino". Los investigadores organizaron un juego en el que el robot tiene que adivinar un código secreto. A veces, el código depende de una pista dada en la oración actual (la hoja de referencia), y otras veces depende de una regla que el robot aprendió hace mucho tiempo (la memoria grabada a fuego). Entrenaron dos copias idénticas del robot para que llegaran exactamente al mismo punto del juego, pero llegaron allí por rutas distintas. Una copia empezó centrándose en las reglas grabadas a fuego y luego cambió lentamente hacia las hojas de referencia. La otra copia empezó con las hojas de referencia y luego cambió lentamente hacia las reglas grabadas a fuego.

Los investigadores descubrieron que, cuando ambos robots llegaban exactamente al mismo punto, no actuaban exactamente igual. El que venía del lado de las "reglas grabadas a fuego" era ligeramente más propenso a usar la hoja de referencia que el que venía del lado de la "hoja de referencia". Era como si el robot que empezó con las reglas todavía estuviera un poco "atascado" en esa mentalidad, aunque ahora estuviera mirando las mismas pistas que el otro robot. Esta diferencia era real y medible: la brecha en su comportamiento era de unos 0,098 puntos en una escala específica, y esto ocurrió en los cinco experimentos de entrenamiento diferentes que realizaron.

Sin embargo, esta memoria del camino era muy efímera. Los investigadores mantuvieron a los robots entrenando en ese mismo punto durante un tiempo más. Tras solo 25 pasos más, la diferencia empezó a invertirse y luego a desaparecer. Para cuando completaron 100 pasos, los dos robots actuaban de forma casi idéntica. El "fantasma" del camino que recorrieron se había desvanecido.

Para entender por qué sucedió esto, los científicos miraron dentro del cerebro del robot. Descubrieron que ambos robots utilizaban exactamente las mismas partes internas para resolver el problema. No cambiaron a un "circuito" diferente o a una nueva forma de pensar. En su lugar, el robot que venía del lado de las "reglas grabadas a fuego" simplemente subió un poco el volumen de la parte de su cerebro que lee la hoja de referencia. Fue un aumento de volumen temporal, no un cambio permanente en el cableado.

Por lo tanto, el artículo sugiere que, si bien los modelos de IA pueden recordar brevemente cómo llegaron a un punto determinado, esto no es una "histéresis" permanente donde se quedan atrapados en estados diferentes para siempre. Es más bien un desfase momentáneo, un exceso rápido que se estabiliza a medida que el modelo continúa aprendiendo. El estudio demuestra que, para comprender verdaderamente el comportamiento de una IA, hay que observar su historia inmediata, pero no hay que preocuparse de que se quedará estancada en un estado extraño para siempre solo por la forma en que fue entrenada. El modelo finalmente se pone al día y olvida el camino, centrándose solo en el destino.

Resumen Técnico: Pruebas de la Dependencia de la Historia entre el Aprendizaje en Contexto y el Aprendizaje en Pesos

Planteamiento del Problema

El aprendizaje en contexto (ICL) y el aprendizaje en pesos (IWL) permiten que los transformadores resuelvan tareas de predicción utilizando asociaciones basadas en prompts o asociaciones parametrizadas estables. Si bien trabajos previos han establecido que el ICL puede emerger y posteriormente declinar en favor del IWL durante el entrenamiento, sigue sin estar claro si la distribución de datos actual determina de manera única el mecanismo del modelo. Específicamente, se desconoce si el estado de un modelo en una mezcla fija de ICL e IWL es único, o si el modelo retiene una "memoria" de la trayectoria de entrenamiento (dependencia de la historia) que influye en su comportamiento y en la organización de sus circuitos causales. Este estudio investiga si un modelo que llega a una mezcla idéntica de ICL/IWL desde direcciones opuestas (cronogramas de mezcla crecientes vs. decrecientes) exhibe comportos o sensibilidades causales diferentes, un fenómeno análogo a la histéresis en sistemas dinámicos.

Metodología

El autor diseñó un estudio causal controlado y contrabalanceado utilizando un pequeño transformador de solo decodificador (2 capas, 4 cabezales, 72k parámetros) en una tarea de recuperación asociativa ambigua.

Diseño de la Tarea: La tarea consiste en predecir un valor para una clave de consulta (query key). Existen dos reglas en competencia: una regla contextual (basada en los pares clave-valor del prompt actual) y una regla fija (una permutación global aprendida en los pesos). Un parámetro de mezcla $p_{ICL}$ controla la probabilidad de que el objetivo de entrenamiento siga la regla contextual. Crucialmente, la distribución de entrada permanece fija mientras $p_{ICL}$ varía, asegurando que los cambios en el comportamiento sean impulsados por la distribución del objetivo y no por las estadísticas de la entrada.
Cronogramas de Entrenamiento Contrabalanceados:
- Un modelo "ancla" es entrenado hasta la convergencia en una mezcla objetivo $p_0$ .
- El modelo y el estado del optimizador son clonados.
- Dos ramas atraviesan cronogramas de mezcla triangulares con conteos de actualizaciones idénticos, multiconjuntos de ejemplos de entrenamiento idénticos e idéntica exposición acumulada, pero en órdenes opuestos:
  - Desde Abajo: $p_0 \to p_0 + \delta \to p_0 - \delta \to p_0$ (acercándose al objetivo desde el lado que favorece al IWL).
  - Desde Arriba: $p_0 \to p_0 - \delta \to p_0 + \delta \to p_0$ (acercándose al objetivo desde el lado que favorece al ICL).
- Este diseño aisla el efecto del orden y la dirección de aproximación final mientras se iguala la edad del entrenamiento, el estado del optimizador y la exposición de los datos.
Métricas de Evaluación:
- Conductual: El margen de logit entre las respuestas contextual y fija en los ensayos de conflicto.
- Intervenciones Causales:
  - Parcheo de Activación (Activation Patching): Reemplazar estados internos entre ejecuciones limpias y corruptas para rastrear el flujo de información.
  - Reemplazo de la Media (Mean Replacement): Reemplazar las salidas de los cabezales de atención con sus medias específicas de cada checkpoint para medir la contribución de la información específica del ejemplo.
- Control de Relajación: Evaluar los modelos después de 0, 25 y 100 actualizaciones adicionales en la mezcla objetivo fija para distinguir el desfase transitorio de la histéresis persistente.

Contribuciones Clave

Diseño de Cronograma Contrabalanceado: Un montaje experimental novedoso que compara direcciones de llegada opuestas en una mezcla, conteo de actualizaciones, edad del optimizador y exposición de componentes acumulada idénticos.
Tarea Identificable Conductualmente: Una tarea donde las respuestas contextual y basada en pesos entran en conflicto directo, permitiendo medir la preferencia de estrategia como un margen de logit continuo en lugar de una precisión agregada.
Pruebas Conductuales y Causales Emparejadas: Integración de parcheo del flujo residual y reemplazos de la media de cabezales/MLP a través de semillas de entrenamiento independientes para localizar la fuente de la dependencia de la historia.
Control de Relajación: Un protocolo para separar los efectos de la historia persistente de los modelos que simplemente son lentos para seguir una distribución de datos cambiante.

Resultados

Dependencia de la Historia Inmediata: En la mezcla equilibrada ( $p_0 = 0.5$ ), los modelos que llegaron desde abajo (lado que favorece al IWL) mostraron un margen de logit de contextual menos fijo más alto ( $+0.0976$ ) en comparación con aquellos que llegaron desde arriba. Esta diferencia fue consistente en las cinco semillas independientes (todas positivas), produciendo el $p$ -valor de prueba de dos colas más pequeño alcanzable de 0.0625. El autor describe este signo y el intervalo común en lugar de hacer una afirmación de significancia binaria.
Naturque Transitoria: La brecha conductual se revirtió ligeramente después de 25 actualizaciones comunes y desapareció (cerca de cero) después de 100 actualizaciones. Esto indica que el efecto es un sobreimpulso transitorio en lugar de una rama estable o una histéresis cuasi-estática.
Mecanismo Causal:
- Reemplazar todas las salidas de los cabezales de atención de posición de consulta con las medias específicas de cada checkpoint atenuó el 86.8% de la brecha conductual inmediata.
- A pesar de la diferencia conductual, la identidad del cabezal de atención dominante y la topología de las rutas de parcheo de activación fueron casi idénticas (correlaciones > 0.999) entre las dos historias.
- Los resultados sugieren que el orden del entrenamiento modula la ganancia de una ruta contextual compartida en lugar de seleccionar un circuito alternativo distinto.

Significancia y Afirmaciones

El artículo concluye que, si bien los transformadores pequeños exhiben dependencia de la trayectoria de tasa finita en una mezcla de ICL/IWL igualada, no exhiben histéresis cuasi-estática.

Afirmación Modesta sobre la Histéresis: El autor establece explícitamente que el efecto observado es una "memoria transitoria del orden de entrenamiento" que se relaja rápidamente. Argumentan que los efectos del orden del currículo no deben etiquetarse automáticamente como histéresis sin demostrar una brecha de rama persistente bajo barridos lentos.
Interpretabilidad del Desarrollo: El estudio destaca que la instantánea de un modelo (parámetros y actual mezcla de datos) puede no predecir de manera única su computación inmediata; modelos estrechamente similares pueden retener información de corto plazo sobre su historial de entrenamiento.
Identidad del Circuito vs. Compromiso (Engagement): Un hallazgo clave es la distinción entre la topología del circuito y la fuerza de compromiso del circuito. El mismo circuito causal (la ruta contextual vía cabezales de atención específicos) fue utilizado en ambas historias, pero su fuerza de compromiso fue modulada por la trayectoria de entrenamiento.
Rigor Metodológico: El artículo enfatiza que, sin medir la relajación (la fase de "mantenimiento"), las diferencias transitorias podrían malinterpretarse como ramas de circuitos persistentes. El diseño de bucle emparejado proporciona un método compacto para controlar la edad y la exposición mientras se prueba la dependencia de la historia.

El autor señala las limitaciones respecto a la validez externa (modelos sintéticos pequeños) y la incapacidad de separar completamente la memoria del estado del optimizador de la memoria de los parámetros, advirtiendo contra la generalización de estos hallazgos a los modelos de lenguaje de frontera sin pruebas adicionales a través de diferentes tasas, optimizadores y tareas naturalistas.