LLM Benchmark Datasets Should Be Contamination-Resistant

Resumo Técnico: Conjuntos de Dados de Benchmark para LLM Devem Ser Resistentes à Contaminação

Declaração do Problema
A confiabilidade da avaliação de Modelos de Linguagem de Grande Escala (LLM) é fundamentalmente comprometida pela contaminação de conjuntos de dados de benchmark. À medida que os corpora de pré-treinamento crescem para incluir trilhões de tokens de quase todos os dados textuais disponíveis, amostras de benchmark são cada vez mais ingeridas durante o treinamento. Esse fenômeno, exacerbado pela disponibilidade pública de conjuntos de dados e vazamento indireto por meio de destilação ou conjuntos de dados derivados, permite que os modelos memorizem em vez de generalizar. Consequentemente, a precisão relatada frequentemente reflete a capacidade de um modelo de recuperar dados de pré-treinamento, e não suas verdadeiras capacidades de raciocínio, tornando benchmarks estáticos obsoletos e inflando métricas de desempenho. Estratégias de mitigação existentes — como benchmarking privado, benchmarking dinâmico ou descontaminação de dados — sofrem de desvantagens significativas, incluindo o sufocamento da verificação independente, a criação de alvos móveis que dificultam a comparação longitudinal ou a falha em escalar contra corpora massivos e heterogêneos.

Metodologia: Conjuntos de Dados Resistentes à Contaminação (CRDs)
O artigo propõe uma mudança de paradigma em direção a Conjuntos de Dados Resistentes à Contaminação (CRDs). A tese central é que os dados de benchmark devem ser divulgados de uma forma que seja inaprendível durante pipelines de pré-treinamento padrão, mas permaneça útil para inferência. Isso é alcançado explorando a assimetria arquitetônica entre os pipelines de treinamento e inferência da arquitetura Transformer.

1. Assimetria Treinamento-Inferência:

   • Treinamento: Requer acesso à sequência completa de tokens para calcular estados ocultos e gradientes para previsão do próximo token.
   • Inferência: Pode prosseguir usando apenas o cache de Chave-Valor (KV) de tokens anteriores e o estado oculto da penúltima camada do token final, sem necessidade da sequência bruta de tokens.
   • Mecanismo: Em vez de divulgar prompts em texto plano ($D$), os autores propõem divulgar um conjunto de dados transformado $\phi(D)$ consistindo em:
     • O cache de KV $\{K^{(l)}_{1:t}, V^{(l)}_{1:t}\}_{l=1}^L$ para cada camada.
     • O estado oculto da penúltima camada $h^{(L-1)}_t$.
     • A saída de verdade fundamental $Y$ (em texto plano).
   • Este formato permite que um modelo realize geração autoregressiva (inferência), mas impede que ele use os dados para treinamento (aprendizado), pois os tokens brutos necessários para calcular gradientes estão ausentes.

2. Estruturas de Interoperabilidade:
   Para abordar o desafio de avaliar modelos heterogêneos contra um benchmark codificado no espaço latente de um modelo específico, o artigo delineia dois paradigmas:

   • Curto Prazo (Modelo Âncora + Alinhamento de Subespaço): Designar um modelo "âncora" amplamente adotado (por exemplo, uma variante específica do LLaMA) para codificar benchmarks. Modelos-alvo traduzem essas codificações para seus próprios espaços latentes usando técnicas como Cross-LoRA (alinhamento de subespaço via SVD e mapas lineares) ou Trans-LoRA (destilação de conhecimento). Isso permite a tradução sem acesso ao texto plano original.
   • Longo Prazo (Representações Relativas Agnósticas ao Modelo): Projetar todos os espaços latentes de modelos em um quadro de coordenadas compartilhado definido por um conjunto fixo de amostras âncora. Usando representações relativas (vetores de similaridades com âncoras), os modelos podem comunicar-se zero-shot entre arquiteturas sem necessidade de um codificador canônico específico.

3. Propriedades Formais:
   O artigo define três propriedades necessárias para CRDs:

   • Irreversibilidade: Deve ser computacionalmente inviável reconstruir o texto plano original a partir do cache de KV/estados ocultos. O artigo observa que, embora existam ataques de inversão para Atenção Multi-Cabeça (MHA), eles são menos eficazes em arquiteturas modernas de Atenção com Consultas Agrupadas (GQA), e a abstração com perdas dificulta ainda mais a recuperação.
   • Equivalência: O desempenho do modelo no CRD deve aproximar seu desempenho no texto plano original ($M(\phi(D)) \approx M(D)$).
   • Interoperabilidade: O CRD deve ser traduzível entre diferentes arquiteturas de LLM.

Contribuições Principais

• Estrutura Conceitual: Formaliza a definição de Conjuntos de Dados Resistentes à Contaminação (CRDs) e estabelece a base teórica para dados inaprendíveis, porém inferíveis.
• Alavancagem Arquitetural: Identifica e aproveita a assimetria específica nos pipelines Transformer (disponibilidade de cache de KV versus necessidade de sequência de tokens) como um mecanismo para prevenir treinamento enquanto habilita inferência.
• Soluções de Interoperabilidade: Propõe caminhos matemáticos concretos (alinhamento de subespaço e representações relativas) para garantir que CRDs não fiquem travados em uma única arquitetura de modelo, abordando a objeção de "especificidade do modelo".
• Estrutura de Avaliação: Delineia um fluxo de trabalho completo para curadoria de CRD, descoberta (tradução) e avaliação de modelos, incluindo um sistema de "cartão de dados" para facilitar a tradução.

Resultados e Análise de Viabilidade
O artigo não apresenta novos resultados empíricos da execução desses benchmarks em modelos específicos, mas confia na literatura existente para validar a viabilidade:

• Sobrecarga de Armazenamento: Os autores analisam os requisitos de armazenamento para divulgação de caches de KV. Embora um cache de KV bruto para 100 mil tokens em um modelo de 7B possa ser de ~50 GB, o artigo demonstra que técnicas de compressão (por exemplo, PyramidKV, quantização, codificação esparsa) podem reduzir isso para tamanhos gerenciáveis (por exemplo, ~350 MB para 100 mil tokens) com impacto negligenciável na fidelidade.
• Fidelidade de Tradução: Citando trabalhos recentes sobre costura de modelos e transferência de adaptadores entre modelos, o artigo argumenta que a tradução entre arquiteturas introduz apenas degradação limitada de desempenho e, em alguns casos, pode até melhorar a velocidade de inferência.
• Segurança: O artigo reconhece que ataques de inversão são possíveis em arquiteturas MHA, mas argumenta que modelos modernos baseados em GQA e abstrações com perdas tornam a recuperação de texto plano computacionalmente difícil. Sugere mecanismos defensivos como injeção de ruído ou privacidade diferencial para cenários de alto risco.

Significado e Alegações
O artigo posiciona-se como um chamado à ação para a comunidade mudar fundamentalmente como benchmarks são divulgados. Seu significado reside em:

1. Restaurar a Integridade da Avaliação: Ao tornar benchmarks inaprendíveis, os CRDs visam restaurar a validade da avaliação de LLM, garantindo que as pontuações reflitam generalização e não memorização.
2. Escalabilidade: Diferentemente do benchmarking privado (que cria gargalos) ou do benchmarking dinâmico (que é de curta duração), os CRDs oferecem uma solução estática e escalável que não requer recriação constante ou controle centralizado.
3. Caminho Prático a Seguir: Os autores argumentam que os CRDs são uma solução prática que equilibra a necessidade de avaliação aberta e reproduzível com a realidade da contaminação de dados. Eles convocam a comunidade a:
   • Avançar metodologias resistentes à contaminação.
   • Desenvolver plataformas de apoio e modelos âncora padronizados.
   • Integrar validação de CRD em pipelines existentes (por exemplo, Hugging Face).

O artigo conclui que, embora os CRDs introduzam novas complexidades (como sobrecarga de armazenamento e tradução), estas são gerenciáveis e necessárias para garantir a confiabilidade de longo prazo do benchmarking de LLM.