Resumen Técnico: Desgroque Natural (Natural Ungrokking)

Declaración del Problema

Este artículo investiga un fenómeno denominado desgroque natural (natural ungrokking): la reversión dentro de una misma ejecución de una capacidad aprendida durante el preentrenamiento. A diferencia del "groque" (grokking, generalización tardía) o del "desgroque" causado por la reducción del conjunto de datos entre ejecuciones, el desgroque natural ocurre en datos estacionarios donde un modelo adquiere una regla lingüística específica, la aplica con éxito y luego la abandona espontáneamente a pesar de que la evidencia de la regla permanece presente en el flujo de entrenamiento.

El caso de estudio focal involucra un transformador de solo decodificador de 11.5 millones de parámetros entrenado en texto web. El modelo aprende una regla de género de pronombres (por ejemplo, resolver "Sue lloró porque" como "ella" en lugar del sesgo del corpus "él"). Para el paso de entrenamiento 925, el modelo alcanza una precisión de 0.94 en sondas de conflicto mantenidas. Sin embargo, para el paso 3,500, la precisión colapsa a casi cero, aun cuando la distribución de los datos de entrenamiento permanece sin cambios y la curva de pérdida no muestra rastro de este cambio de comportamiento. El modelo retiene la construcción gramatical pero deja de aplicar la regla específica cuando esta entra en conflicto con los sesgos superficiales.

Metodología

Configuración Experimental

• Modelos: Un transformador de solo decodificador de 4 capas ($d_{model}=256$, 2 cabezales de atención, 11.5M de parámetros) entrenado durante 4,400 pasos.
• Corpus: Se utilizaron dos conjuntos de datos:
  1. TinyStories: Un corpus sintético donde la regla de género de pronombres está densamente respaldada.
  2. Corpus Web Filtrado: Derivado de ClimbMix, donde la frecuencia de soporte de la regla es baja en relación con los patrones superficiales competidores.
• Variables: El estudio varía el frecuencia de soporte ($f$) de la regla y la relación datos-parámetros ($D/N$).
• Evaluación: Una batería congelada de sondas con plantillas mide el rendimiento en ítems de "conflicto" (regla vs. sesgo en desacuerdo) y controles de "acuerdo" (regla y sesgo alineados). Un clasificador categoriza las trayectorias como Recuperadas, Desplazadas, Parciales, Nunca o Inestables.
• Métrica de Mecanismo: Un Margen de Contraste (CM) rastrea la diferencia de log-probabilidad entre la continuación que sigue la regla y el competidor que sigue el sesgo.
• Rigor: Todas las métricas de confirmación, umbrales y predicciones direccionales fueron pre-registrados antes de la inspección de los datos. Un conjunto de semillas de replicación ciega fue puesto en cuarentena.

Intervenciones Causales

Para establecer la causalidad, los autores realizaron ediciones "in situ" en sus corpus de entrenamiento:

1. Matar (Eliminación): Cambiar tokens que respaldan la regla por evidencia contraria (por ejemplo, cambiar "ella" por "él" después de nombres femeninos) a tasas específicas ($p$) dentro de un mismo corpus.
2. Rescate (Restauración): Inyectar evidencia que respalda la regla de nuevo en un corpus web colapsado en dosis de hasta $3\times$ la densidad requerida para la supervivencia en TinyStories.
3. Segunda Regla: Replicar la escalera de muerte en una regla no relacionada (alomorfia $a/an$) para probar la generalizabilidad.

Resultados Clave

1. La Frecuencia de Soporte Determina el Destino

La supervivencia de una regla es predecible a partir de una estadística de un solo corpus: la frecuencia de soporte (qué tan seguido el flujo de entrenamiento muestra la victoria de la regla).

• Supervivencia: En TinyStories (soporte alto), la regla sobrevive con precisión máxima en todos los presupuestos de datos.
• Colapso: En el corpus web (soporte bajo), la regla emerge temprano pero colapsa a una precisión cercana a cero al final del entrenamiento, independientemente de la relación $D/N$.
• Modulación: La relación $D/N$ modula la profundidad del colapso (qué tan bajo cae la precisión), pero nunca cambia el veredicto de supervivencia. Un alto volumen de datos no puede salvar una regla con baja frecuencia de soporte.

2. Control Asimétrico (La asimetría "Matar/Restaurar")

El artículo demuestra una marcada asimetría en el control de la supervivencia de las reglas:

• La destrucción es fácil y dependiente de la dosis: Cambiar el soporte por evidencia contraria destruye la regla con una respuesta de dosis estrictamente monótona. Con el cambio total ($p=1.0$), la regla muere en todas las semillas.
• La restauración es imposible: Inyectar soporte de nuevo en un corpus colapsado, incluso a 450$\times$ la densidad natural de sostenimiento (y hasta $3\times$ la densidad de TinyStories), no logra restaurar el comportamiento.
  • Aunque el mecanismo interno (margen de contraste) se desplaza ligeramente hacia valores positivos en dosis coincidentes, la precisión conductual permanece colapsada.
  • Esto se mantiene incluso cuando la inyección se concentra antes del paso del colapso, descartando el tiempo como la única causa del fallo.

3. Mecanismo: Desplazamiento, no Borrado

La pérdida de la regla es un desplazamiento por un patrón superficial competidor, no un borrado de la construcción.

• Evidencia: La condición de control de "acuerdo" (donde la regla y el sesgo se alinean) permanece resuelta con precisión máxima durante todo el colapso.
• Margen de Contraste: El CM cruza el cero exactamente cuando ocurre el colapso conductual (dentante de 100 pasos). En las ejecuciones colapsadas, la vía contextual (contribuciones de atención/MLP) conlleva un margen negativo, invalidando la regla.
• Representación: La decodificabilidad de la señal de género (cue-gender) en la última capa decae a niveles de azar en los datos web, indicando que la representación de la regla es desplazada antes de los logits.

4. Generalización a Checkpoints Públicos

El fenómeno no es un artefacto del modelo específico de 11.5M. Los checkpoints públicos de Pythia (70M–1.4B) y OLMo-1B exhiben la misma firma de "emergencia y luego colapso". La profundidad del colapso está ordenada por la escala del modelo (los modelos más pequeños colapsan más profundamente), lo cual es consistente con las predicciones.

Significación y Reivindicaciones

El artículo reivindica tres contribuciones principales:

1. Predictibilidad de la Pérdida de Capacidad: El destino de una regla al final del entrenamiento puede predecirse mediante una estadística medible del corpus (frecuencia de soporte) antes de que termine el entrenamiento. Esto desafía la suposición de que las curvas de pérdida son suficientes para monitorear la retención de capacidades.
2. Causalidad Asimétrica: El artículo establece que la frecuencia de soporte es causalmente suficiente para la destrucción, pero insuficiente para la restauración. Una vez que una regla es desplazada por un sesgo más fuerte, reintroducir evidencia (incluso en cantidades masivas) no puede recuperar la capacidad.
3. Perspectiva Mecanicista: La pérdida se identifica como un desplazamiento físico donde un patrón superficial competidor supera a la regla aprendida, medible mediante el cruce del margen de contraste por cero.

Implicaciones Prácticas:

• Evaluación de Mitad de Entrenamiento: Las capacidades observadas en los checkpoints de mitad de entrenamiento no garantizan que existan en el modelo final.
• Filtrado de Datos: Reducir el soporte de una regla rara puede condenarla sin necesidad de eliminar un solo ejemplo de ella.
• Preentrenamiento Continuo: Cambiar las mezclas de datos puede "desgrocar" silenciosamente capacidades que un modelo base ya había aprendido.

Los autores declaran explícitamente que predecir el límite exacto en el eje de frecuencia donde la supervivencia cambia sigue siendo un problema abierto para trabajos futuros, aunque la ley cualitativa (la frecuencia de soporte dicta el destino) queda establecida. El trabajo se enmarca como una contribución constructiva para entender la dinámica de entrenamiento, la memoria y la generalización, con un enfoque específico en la fragilidad de las reglas aprendidas ante la presencia de sesgos competidores.