Resumen Técnico: ¿Vale la pena el "Grokking"?

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben frecuentemente una "maldición del razonamiento de dos saltos", donde fallan al componer hechos aprendidos por separado en una cadena de inferencia coherente. Por ejemplo, un modelo puede recordar que "la esposa de Barack es Michelle" y que "Michelle nació en 1964", pero no logra inferir que "la esposa de Barack nació en 1964" mediante computación interna. Este fallo se atribuye a un desajuste representacional: los Transformers estándar recuperan hechos atómicos en capas superficiales, pero las capas más profundas no están entrenadas para utilizar estas representaciones latentes específicas como entradas para pasos de recuperación subsecuentes.

La literatura reciente sugiere que los Transformers de parámetros compartidos pueden superar esto sometiéndose a una fase de entrenamiento prolongada conocida como "grokking" (comprensión profunda), durante la cual emerge un "Circuito de Generalización". Este circuito permite al modelo internalizar cadenas de razonamiento mediante la recuperación explícita de entidades intermedias (puente) en las capas medias. Sin embargo, persisten preguntas fundamentales: ¿Es un modelo con grokking verdaderamente superior a su contraparte sin él en tareas de uso descendente (downstream)? ¿Está justificado el extenso costo computacional de esperar la fase de grokking? ¿Se transfiere efectivamente la capacidad de razonamiento adquirida mediante el grokking a hechos novedosos?

Metodología

Los autores emplean un estudio mecanístico utilizando una arquitectura de Transformer de parámetros compartidos de última generación en una tarea de razonamiento composicional sintético.

• Construcción del Conjunto de Datos: Se construyó un conjunto de datos sintético compuesto por 2,000 entidades y 200 relaciones únicas, sumando un total de 40,000 hechos atómicos. Los datos se particionan en subconjuntos de Distribución Interna (ID) y Distribución Fuera de Distribución (OOD). Los modelos se entrenan en todas las consultas atómicas, pero solo en consultas composicionales construidas a partir de hechos ID. La evaluación ocurre en consultas composicionales que involucran hechos OOD para probar una generalización genuina en lugar de la memorización.
• Análisis Mecanístico: El estudio utiliza la técnica "logit lens" para decodificar los estados ocultos en todas las capas, visualizando la maduración de los Circuitos de Generalización. Un rastro de inferencia se categoriza como "Puente encontrado" si el estado oculto decodificado coincide con la entidad puente real.
• Variaciones Experimentales:
  1. Grokking Natural: Entrenamiento en datos composicionales estándar solo de ID para observar la emergencia natural del grokking.
  2. Aumento de Supervisión Completa: Proporcionar supervisión composicional en hechos OOD (Aumento Completo de Primer Salto y Aumento Completo de Segundo Salto) para acelerar el aprendizaje y probar si la ruta de razonamiento cambia.
  3. Evaluación de Transferibilidad: Ajuste fino (fine-tuning) de modelos preentrenados (tanto con grokking natural como "falso grokking") en una mezcla de hechos ID retenidos y 2,000 hechos atómicos completamente nuevos para evaluar la capacidad de asimilar nuevo conocimiento y componerlo.

Hallazgos Clave

1. Rutas de Razonamiento Idénticas

Contrario a la hipótesis de que el grokking representa la adquisición repentina de un nuevo paradigma de razonamiento, el estudio encuentra que los modelos sin grokking y con grogking siguen rutas de inferencia idénticas para consultas composicionales de distribución interna.

• El "Circuito de Generalización" no es una estructura nueva formada solo después del grokking; más bien, la ruta de razonamiento se establece tempranamente en el entrenamiento para los hechos ID.
• El grokking se caracteriza como el proceso de integrar hechos OOD supervisados esporádicamente en este circuito establecido naturalmente.
• Los modelos entrenados con supervisión composicional completa en hechos OOD alcanzan la misma ruta de razonamiento y rendimiento de transferencia que los modelos con grokking natural, pero en significativamente menos pasos.

2. Disociación de Comportamiento y Mecanismo

El artículo demuestra que el comportamiento de grokking (alta precisión en casos no vistos) no está intrínsecamente vinculado a la formación de un Circuito de Generalización.

• Bajo regímenes de datos específicos (por ejemplo, Aumento Completo de Segundo Salto), los modelos pueden lograr una alta precisión en composiciones OOD sin haber recuperado correctamente la entidad puente en las capas intermedias.
• Estos modelos de "falso grogking" carecen del mecanismo subyacente del Circuito de Generalización y, crucialmente, fallan en transferir esta capacidad a nuevos hechos, a diferencia de los modelos que poseen el circuito real.

3. Transferibilidad Limitada

Incluso cuando hay un Circuito de Generalización maduro presente, su transferibilidad a nuevo conocimiento es limitada.

• Si bien el circuito permite a los modelos recuperar entidades puente para nuevos hechos, no garantiza la capacidad de completar el segundo salto del razonamiento si el segundo salto involucra un hecho novedoso.
• Para establecer un circuito fiable para nuevo conocimiento, los modelos aún requieren ya sea una fase de grokking adicional o un ajuste fino sustancialmente mayor que cubra los nuevos hechos y sus composiciones.
• Los modelos de "falso grokking" fallan al adaptarse al razonamiento composicional que mezcla hechos nuevos y antiguos, limitándose a memorizar los nuevos hechos atómicos sin aprender a razonar sobre ellos.

Significancia y Reivindicaciones

El artículo desafía la visión predominante de que el grokking representa la adquisición genuina de un paradigma de razonamiento generalizado. En su lugar, postula que el grokking es un mecanismo para integrar datos dispersos en una estructura existente.

Los autores concluyen que la decisión de perseguir el grokking implica un intercambio entre la escasez de datos y los recursos computacionales:

• Bajo supervisión dispersa: Entrenar hasta el grokking puede ser necesario para forzar la integración de los hechos en el circuito de razonamiento.
• Bajo supervisión suficiente: Si existe suficiente información composicional, los modelos pueden detenerse en la saturación del entrenamiento y alcanzar un rendimiento equivalente sin la carga computacional de la fase prolongada de grokking.

En última instancia, el estudio sugiere que los Transformers con grokking no logran una maestría completa de la lógica composicional comparable al razonamiento humano, ya que su capacidad para generalizar patrones de razonamiento a través de dominios permanece constreñida.

Limitaciones

Los autores reconocen dos limitaciones principales:

1. Restricciones Computacionales: La investigación sobre el "falso grokking" no es exhaustiva debido a los ciclos de entrenamiento extremos requeridos para observar los fenómenos de grokking, lo que deja la frontera precisa de las condiciones de colapso del circuito como una pregunta abierta.
2. Alcance Arquitectónico: Los hallazgos son específicos para Transformers de parámetros compartidos. Los Transformers estándar con pesos de capa independientes luchan inherentemente con esta forma de generalización implícita, y los resultados podrían no extenderse a esas arquitecturas.