Memorization Dynamics of Fill-in-the-Middle Pretraining

Resumo Técnico: Dinâmicas de Memorização do Pré-treinamento Preenchimento-Meio

Declaração do Problema
Modelos de linguagem de grande escala (LLMs) são conhecidos por reproduzir dados de treinamento de forma literal, incluindo informações privadas e textos protegidos por direitos autorais. Embora a repetição seja um preditor primário de memorização, o impacto específico dos objetivos de pré-treinamento sobre esse fenômeno permanece pouco explorado. Modelos de linguagem causal padrão utilizam um objetivo da esquerda para a direita (LTR), prevendo tokens baseando-se exclusivamente no contexto precedente. Em contraste, o Preenchimento-Meio (FIM) é um objetivo amplamente utilizado para capacidades de preenchimento (por exemplo, em Code Llama, StarCoder), onde um segmento médio alvo é previsto usando tanto o contexto de prefixo quanto o de sufixo, separados por tokens sentinela. Este artigo investiga como o objetivo FIM altera as dinâmicas da memorização literal em comparação com o treinamento LTR padrão, perguntando especificamente se o FIM altera a distribuição de probabilidade dos segmentos extraídos, o papel do contexto (prefixo vs. sufixo) e a dependência das contagens de repetição.

Metodologia
Os autores realizam um estudo controlado comparando modelos Llama 3.2 correspondentes (escalas de 3B e 1B parâmetros) treinados em fontes de dados idênticas e arquiteturas, mas com objetivos de pré-treinamento diferentes.

• Construção de Dados: O corpus de treinamento combina FineWeb (100B tokens) e um subconjunto controlado de excertos do Projeto Gutenberg. Para isolar efeitos de memorização, os excertos do Gutenberg foram filtrados para remover janelas pré-memorizadas ou outliers e, em seguida, divididos em 12 "buckets de repetição" variando de 1 a 128 exposições.
• Regimes de Treinamento: Dois corpora foram construídos a partir dos mesmos dados. O corpus LTR manteve a ordem autoregressiva padrão. O corpus FIM reescreveu exemplos em um formato prefixo–sufixo–meio usando tokens sentinela, com pontos de divisão aleatórios para cópias FIM repetidas para garantir exposição ao nível do documento em vez de exposição a segmentos fixos. Os modelos foram treinados por uma época (~103B tokens) com uma divisão FineWeb/Gutenberg de 95%/5%.
• Avaliação:
  • Desempenho a Jusante: Avaliado em 8 tarefas do LM Evaluation Harness para garantir que as diferenças de memorização não fossem devidas a lacunas gerais de capacidade.
  • Sondagem Apenas de Prefixo: Os modelos foram consultados com 100 tokens de prefixo para prever um segmento alvo de 32 tokens. As métricas incluíram a probabilidade de extração exata ($p_z$) e pontuações ROUGE-L.
  • Sondagem Nativa FIM: Os modelos foram consultados em seu formato FIM nativo, variando a razão de contexto de prefixo para sufixo (por exemplo, 100/0, 50/50, 0/100) para determinar a contribuição de cada lado para a memorização.
  • Análise de Atenção: Os pesos de atenção foram analisados para entender como os modelos alocam o foco entre prefixo, sufixo e tokens alvo previamente gerados.

Principais Contribuições e Resultados
O estudo revela perfis de memorização distintos para modelos FIM e LTR:

1. Perfis de Extração Divergentes:

   • Modelos LTR: Exibem uma distribuição "de cauda pesada" de probabilidades. Eles são mais propensos a atribuir alta confiança a continuições longas e exatas. Consequentemente, os modelos LTR alcançam taxas mais altas de extração exata estrita ($p_z \ge 0,1\%$) em todos os aspectos.
   • Modelos FIM: Distribuem a massa de probabilidade de forma mais ampla sobre reconstruções parciais. Embora extraiam menos janelas sob critérios exatos estritos, eles demonstram recuperação de alta sobreposição mais forte (ROUGE-L) e taxas mais altas de suporte top-k, particularmente para segmentos mais curtos ou em contagens de repetição elevadas.
   • Dinâmicas de Repetição: A extração LTR mostra retornos decrescentes (crescimento logarítmico) à medida que as repetições aumentam. A extração FIM cresce de forma mais linear com as repetições. No entanto, o comprimento do segmento necessário para que o FIM supere o LTR nas taxas de extração aumenta com o comprimento do segmento alvo; segmentos mais longos favorecem a distribuição de cauda pesada do LTR.

2. Dependência de Contexto no FIM Nativo:

   • Contrariando a intuição de que o FIM utiliza ambos os lados igualmente, o contexto de prefixo é o motor dominante da memorização em modelos FIM.
   • A sondagem nativa FIM mostra que o suporte à memorização melhora monotonicamente à medida que o orçamento de contexto se desloca do sufixo para o prefixo.
   • Substituir o prefixo verdadeiro por um segmento distrator suprime quase totalmente a memorização, enquanto substituir o sufixo tem um efeito significativamente menor. Isso indica que, mesmo no treinamento FIM, a recordação literal permanece fortemente ancorada no contexto de prefixo, semelhante aos modelos LTR.

3. Mecanismos de Atenção:

   • Modelos FIM alocam mais atenção ao prefixo e menos aos tokens alvo já vistos em comparação com modelos LTR.
   • Quando o contexto de prefixo é escasso, os modelos FIM compensam atendendo mais fortemente aos tokens precedentes do segmento alvo, mas isso não recupera totalmente a força de memorização fornecida por um prefixo verdadeiro.

Significado e Alegações
O artigo alega que o objetivo de pré-treinamento molda fundamentalmente como a memorização se acumula. Embora o FIM seja projetado para melhorar a utilidade de preenchimento, ele não simplesmente "adiciona" contexto de sufixo à memorização LTR; em vez disso, cria um perfil de memorização diferente onde:

• A memorização acumula-se mais lentamente inicialmente, mas pode exceder o desempenho LTR na extração de segmentos curtos em contagens de repetição elevadas.
• A natureza "de cauda pesada" da memorização LTR (favorecendo correspondências exatas longas) é substituída por uma distribuição mais ampla no FIM (favorecendo correspondências parciais).
• Crucialmente, o estudo demonstra que avaliar a memorização usando apenas um comprimento de segmento ou um formato de sondagem (por exemplo, apenas prefixo) pode perder nuances importantes. Um modelo pode parecer menos propenso à memorização sob extração exata estrita, mas altamente propenso à recuperação de alta sobreposição sob sondagem FIM.

Os autores concluem que, para modelos com capacidades de preenchimento, os riscos de memorização não são uniformes; eles estão ancorados no contexto de prefixo, mas manifestam-se de forma diferente dependendo da geometria de extração e do histórico de repetição. Isso sugere que a curadoria de dados e as auditorias de memorização para modelos com capacidades de preenchimento devem levar em conta essas dinâmicas específicas, em vez de confiar exclusivamente em métricas baseadas em LTR.

Limitações
Os autores observam que seu estudo é limitado a modelos de escala de fronteira (3B e 1B parâmetros) e não extrapola para modelos de fronteira maiores. As contagens de repetição são limitadas a 128, impedindo a análise de limites assintóticos. Além disso, devido à decomposição aleatória de exemplos FIM durante o treinamento, o estudo não pode rastrear exposições exatas para segmentos sondados específicos, limitando a capacidade de realizar atribuição granular de instâncias de treinamento específicas.