Resumo Técnico: O Espectro de Generalização

Declaração do Problema

As avaliações tradicionais de algoritmos de aprendizagem (como Aprendizagem em Contexto, Ajuste Fino Supervisionado e Aprendizagem por Reforço) tipicamente reduzem o desempenho a uma única pontuação agregada em um conjunto de teste independente e identicamente distribuído (i.i.d.). Essa abordagem obscurece uma questão fundamental: até que ponto o aprendizado a partir de um exemplo específico se generaliza para outros?

Os benchmarks atuais frequentemente confundem capacidades distintas: um modelo pode "passar" em um benchmark por memorizar instâncias de treinamento, transferir sob pequenas perturbações ou adquirir abstrações robustas. Além disso, as comparações padrão muitas vezes falham em isolar a eficiência de transferência — a capacidade de converter memorização em generalização — porque um treinamento mais forte tende a aumentar simultaneamente tanto a memorização quanto a transferência. Há uma carência de frameworks que meçam a generalização como uma função contínua de "distância de transferência", em vez de uma divisão binária entre in-distribution (dentro da distribuição) e out-of-distribution (fora da distribuição).

Metodologia: O Framework do Espectro de Generalização

Os autores introduzem o Espectro de Generalização, um framework de avaliação de estilo cromatográfico projetado para expor a dimensão oculta da generalização por amostra.

1. Os Níveis do Espectro (D0–D4)

O framework constrói variantes de teste pareadas derivadas de uma única instância "semente" (seed), ordenadas por distância de transferência crescente. Cada nível remove um atributo compartilhado entre a semente e a variante de avaliação:

• D0 (Recall Exato): O problema original pareado com sua solução de referência. Mede a memorização.
• D1 (Transferência de Implementação): A mesma lógica e narrativa do problema, mas avaliada em uma linguagem de programação diferente (ex: Python para C++). Remove o formato da implementação.
• D2 (Transferência de Contexto): Uma nova narrativa de problema que preserva a especificação executável exata (contrato de E/S, lógica, testes), mas reenquadra a história. Remove o contexto narrativo.
• D3 (Pareado por Categoria): Um problema diferente que compartilha a mesma família algorítmica/tag, mas com narrativa e lógica diferentes. Remove a especificação executável.
• D4 (Baseline Não Pareado): Um problema aleatório dentro do domínio, sem relação forçada com a semente. Remove a família do problema.

2. Construção do Benchmark

O framework é instanciado em programação competitiva, escolhida por sua correção inequívoca (passar/falhar via casos de teste) e pelo seu rico espaço para variações controladas.

• Dataset: 64 problemas semente expandidos para 256 instâncias de avaliação (64 por nível para D1–D4).
• Mitigação de Contaminação: Utiliza um pipeline de seleção e síntese baseado em problemas recentes para garantir que os modelos não estejam simplesmente relembrando dados de pré-treinamento.
• Validação: Verificações quantitativas confirmam que a similaridade (sobreposição de cosseno e tags) diminui monotonicamente de D1 para D4, validando a remoção progressiva da estrutura compartilhada.

3. Protocolo de Avaliação: Memorização Correspondente

Para comparar paradigmas de aprendizagem de forma justa, os autores empregam um protocolo de memorização correspondente (matched-memorization). Em vez de comparar checkpoints finais, eles selecionam checkpoints onde diferentes métodos alcançam o desempenho equivalente em D0 (recall exato). Isso isola a eficiência de transferência: quão efetivamente um nível fixo de memorização se converte em generalização em distâncias crescentes.

Métricas Principais:

• Ganho (Gain): Melhoria sobre o modelo base em cada nível.
• Ganho Normalizado (Normalized Gain): Leva em conta o headroom restante.
• Área Sob o Espectro (AUS): Ganho de transferência agregado através de D1–D4.
• Gap Próximo-Distante Normalizado (N-Fn): Mede se os ganhos se concentram na transferência próxima (D1–D2) versus transferência distante (D3–D4).

Resultados Principais

1. Comparação de Paradigmas Canônicos (ICL, SFT, RL)

Sob condições de memorização correspondente:

• Aprendizagem por Reforço (RL/GRPO): Converte a memorização em transferência próxima de forma mais eficiente que o SFT e preserva uma cauda de transferência distante positiva. Os ganhos de RL atenuam com a distância, mas não colapsam, mantendo ganhos positivos mesmo em D3 e D4.
• Ajuste Fino Supervisionado (SFT): Mostra ganhos fortes em D0 e D1 (transferência de implementação), mas cai drasticamente em D2 (transferência de contexto) e além. O SFT frequentemente apresenta ganhos normalizados negativos em distâncias longas, sugerando que depende fortemente do pareamento de padrões superficiais da narrativa de treinamento.
• Aprendizagem em Contexto (ICL): Exibe uma transferência forte, porém frágil. Quando pareada com a semente correta (oracle), o ICL performa excepcionalmente bem de D0 a D2 (incluindo o reenquadramento de narrativa). No entanto, o desempenho colapsa assim que a correspondência direta é removida (D3–D4), revelando um "gargalo de correspondência".

2. Diagnóstico de Modos de Falha

• D1 (Mudança de Linguagem): O SFT sofre com altas taxas de erro de compilação (17,6%) ao transferir para C++, indicando que imita padrões superficiais de Python em vez da lógica subjacente. O RL mantém baixas taxas de erro de compilação (5,5%).
• D2 (Mudança de Narrativa): O SFT perde a capacidade de identificar a família de solução correta quando a narrativa muda, regredindo ao desempenho do modelo base. O RL preserva a identificação estrutural, embora com alguma atenuação.

3. Análise de Variantes Dentro da Mesma Família

O Espectro revela que sinais auxiliares frequentemente remodelam partes específicas do perfil, em vez de expandir uniformemente a generalização:

• Variantes de ICL (Abstração & Dicas): Adicionar pseudocódigo, insights fundamentais ou dicas explícitas eleva significativamente o desempenho em D0–D2 (níveis pareados), mas não traz benefício em D3–D4. Isso sugere que essas intervenções melhoram a extração e o reconhecimento locais, mas não estendem o raio de generalização.
• Variantes de SFT (RFT vs. Demonstração SFT): O Ajuste Fino por Rejeição de Amostragem (RFT), que utiliza alvos corretos autogerados, preserva uma cauda de transferência distante mais suave (D2–D4) comparado ao SFT de demonstração padrão. Imitar alvos externos e distantes (ex: GPT-OSS) leva a um colapso precoce.
• Auto-destilação (SDFT): Melhora a transferência local (D1–D2), mas enfraquece a transferência distante (D3–D4), performando pior que o modelo base no extremo distante.
• RL Assistido por Dicas: Dicas durante o treinamento (pseudocódigo ou insights fundamentais) melhoram a eficiência de amostragem (alcançando a memorização D0 mais rápido), mas comprimem a cauda de transferência distante. Esses modelos ajustam os exemplos semente mais rápido, mas generalizam de forma menos ampla que o RL baseado apenas em verificadores.

Significância e Alegações

O artigo afirma que o Espectro de Generalização fornece uma ferramenta de diagnóstico que vai além das comparações de score agregado de benchmarks. Suas principais contribuições são:

1. Diagnóstico Granular: Ele separa o recall da semente, a transferência local e a preservação da transferência distante, revelando que métodos com scores agregados semelhantes podem ter perfis de generalização radicalmente diferentes.
2. Diferenciação de Paradigmas: Demonstra que a escolha do algoritmo molda fundamentalmente o perfil de generalização. O RL mostra-se mais robusto a mudanças de distribuição (mudanças de narrativa e categoria) do que o SFT, enquanto o ICL é altamente eficaz, porém frágil sem correspondência.
3. Refutação do "Mais é Melhor": O framework mostra que intervenções projetadas para melhorar o desempenho (dicas, abstrações, auto-destilação) frequentemente trocam a preservação da transferência distante por ganhos locais ou velocidade de otimização. Elas não necessariamente expandem o raio de generalização.
4. Rigor Metodológico: Ao introduzir a comparação de memorização correspondente, o artigo oferece uma forma controlada de avaliar a eficiência de transferência, desvinculando os efeitos de uma melhor memorização de uma melhor generalização.

Os autores concluem que o Espectro permite uma compreensão mais matizada dos algoritmos de aprendizagem, sugerindo que métodos futuros devem otimizar explicitamente a eficiência de transferência através do espectro, em vez de apenas o desempenho agregado.