Memorization Dynamics of Fill-in-the-Middle Pretraining

Resumen Técnico: Dinámicas de Memorización del Preentrenamiento de Relleno en el Medio

Enunciado del Problema
Se sabe que los modelos de lenguaje grandes (LLM) reproducen los datos de entrenamiento de manera literal, incluida información privada y texto con derechos de autor. Aunque la repetición es un predictor principal de la memorización, el impacto específico de los objetivos de preentrenamiento en este fenómeno sigue siendo poco explorado. Los modelos de lenguaje causal estándar utilizan un objetivo de izquierda a derecha (LTR), prediciendo tokens basándose únicamente en el contexto precedente. En contraste, el Relleno en el Medio (FIM) es un objetivo ampliamente utilizado para capacidades de relleno (por ejemplo, en Code Llama, StarCoder), donde se predice un tramo medio objetivo utilizando tanto el contexto de prefijo como el de sufijo, separados por tokens centinela. Este artículo investiga cómo el objetivo FIM altera las dinámicas de la memorización literal en comparación con el entrenamiento LTR estándar, preguntando específicamente si FIM cambia la distribución de probabilidad de los tramos extraídos, el papel del contexto (prefijo frente a sufijo) y la dependencia de los conteos de repetición.

Metodología
Los autores realizan un estudio controlado comparando modelos Llama 3.2 emparejados (escalas de 3B y 1B parámetros) entrenados en fuentes de datos idénticas y arquitecturas, pero con objetivos de preentrenamiento diferentes.

• Construcción de Datos: El corpus de entrenamiento combina FineWeb (100 mil millones de tokens) y un subconjunto controlado de extractos de Project Gutenberg. Para aislar los efectos de memorización, los extractos de Gutenberg se filtraron para eliminar ventanas pre-memorizadas o atípicas y luego se dividieron en 12 "cubos de repetición" que van de 1 a 128 exposiciones.
• Regímenes de Entrenamiento: Se construyeron dos corpus a partir de los mismos datos. El corpus LTR mantuvo el orden autoregresivo estándar. El corpus FIM reescribió los ejemplos en un formato prefijo–sufijo–medio utilizando tokens centinela, con puntos de división aleatorios para copias repetidas de FIM para asegurar la exposición a nivel de documento en lugar de la exposición a tramos fijos. Los modelos se entrenaron durante una época (~103 mil millones de tokens) con una división FineWeb/Gutenberg del 95%/5%.
• Evaluación:
  • Rendimiento Descendente: Evaluado en 8 tareas de la LM Evaluation Harness para asegurar que las diferencias de memorización no se debieran a brechas generales de capacidad.
  • Sondeo Solo de Prefijo: Se consultó a los modelos con 100 tokens de prefijo para predecir un tramo objetivo de 32 tokens. Las métricas incluyeron la probabilidad de extracción exacta ($p_z$) y puntuaciones ROUGE-L.
  • Sondeo Nativo FIM: Se consultó a los modelos en su formato nativo FIM, variando la relación de contexto de prefijo a sufijo (por ejemplo, 100/0, 50/50, 0/100) para determinar la contribución de cada lado a la memorización.
  • Análisis de Atención: Se analizaron los pesos de atención para comprender cómo los modelos asignan el enfoque entre el prefijo, el sufijo y los tokens objetivo generados previamente.

Contribuciones y Resultados Clave
El estudio revela perfiles de memorización distintos para los modelos FIM y LTR:

1. Perfiles de Extracción Divergentes:

   • Modelos LTR: Exhiben una distribución de probabilidades "de cola pesada". Es más probable que asignen alta confianza a continuaciones largas y exactas. En consecuencia, los modelos LTR logran tasas más altas de extracción exacta estricta ($p_z \ge 0.1\%$) en general.
   • Modelos FIM: Distribuyen la masa de probabilidad de manera más amplia a través de reconstrucciones parciales. Aunque extraen menos ventanas bajo criterios exactos estrictos, demuestran una recuperación de alta superposición más fuerte (ROUGE-L) y tasas de soporte top-k más altas, particularmente para tramos más cortos o en conteos de repetición altos.
   • Dinámicas de Repetición: La extracción LTR muestra rendimientos decrecientes (crecimiento logarítmico) a medida que aumentan las repeticiones. La extracción FIM crece de manera más lineal con las repeticiones. Sin embargo, la longitud del tramo requerida para que FIM supere a LTR en las tasas de extracción aumenta con la longitud del tramo objetivo; los tramos más largos favorecen la distribución de cola pesada de LTR.

2. Dependencia del Contexto en FIM Nativo:

   • Contrario a la intuición de que FIM utiliza ambos lados por igual, el contexto de prefijo es el motor dominante de la memorización en los modelos FIM.
   • El sondeo nativo FIM muestra que el soporte de memorización mejora de manera monótona a medida que el presupuesto de contexto se desplaza del sufijo al prefijo.
   • Reemplazar el prefijo real con un tramo distractor suprime casi por completo la memorización, whereas reemplazar el sufijo tiene un efecto significativamente menor. Esto indica que incluso en el entrenamiento FIM, el recuerdo literal permanece fuertemente anclado en el contexto de prefijo, similar a los modelos LTR.

3. Mecanismos de Atención:

   • Los modelos FIM asignan más atención al prefijo y menos a los tokens objetivo ya vistos en comparación con los modelos LTR.
   • Cuando el contexto de prefijo es escaso, los modelos FIM compensan atendiendo más intensamente a los tokens precedentes del tramo objetivo, pero esto no recupera completamente la fuerza de memorización proporcionada por un prefijo real.

Significado y Afirmaciones
El artículo afirma que el objetivo de preentrenamiento moldea fundamentalmente cómo se acumula la memorización. Aunque FIM está diseñado para mejorar la utilidad de relleno, no simplemente "añade" contexto de sufijo a la memorización LTR; más bien, crea un perfil de memorización diferente donde:

• La memorización es más lenta para acumularse inicialmente pero puede superar el rendimiento de LTR en la extracción de tramos cortos en conteos de repetición altos.
• La naturaleza "de cola pesada" de la memorización LTR (que favorece coincidencias exactas largas) es reemplazada por una distribución más amplia en FIM (que favorece coincidencias parciales).
• Crucialmente, el estudio demuestra que evaluar la memorización utilizando solo una longitud de tramo o un formato de sondeo (por ejemplo, solo prefijo) puede pasar por alto matices importantes. Un modelo podría parecer menos propenso a la memorización bajo extracción exacta estricta, pero altamente propenso a la recuperación de alta superposición bajo sondeo FIM.

Los autores concluyen que para modelos con capacidades de relleno, los riesgos de memorización no son uniformes; están anclados en el contexto de prefijo pero se manifiestan de manera diferente dependiendo de la geometría de extracción y el historial de repetición. Esto sugiere que la curación de datos y las auditorías de memorización para modelos con capacidades de relleno deben tener en cuenta estas dinámicas específicas en lugar de depender únicamente de métricas basadas en LTR.

Limitaciones
Los autores señalan que su estudio se limita a modelos de escala fronteriza (3B y 1B parámetros) y no se extrapola a modelos fronterizos más grandes. Los conteos de repetición están limitados a 128, lo que impide el análisis de límites asintóticos. Además, debido a la descomposición aleatoria de los ejemplos FIM durante el entrenamiento, el estudio no puede rastrear exposiciones exactas para tramos sondeados específicos, lo que limita la capacidad de realizar una atribución detallada de instancias de entrenamiento específicas.