Inferring the Size of Large Language Models From Popular Text Memorization

Resumo Técnico: Inferência do Tamanho de Modelos de Linguagem de Grande Escala a partir da Memorização de Textos Populares

1. Formulação do Problema

A contagem total de parâmetros ($|f|$) de um Modelo de Linguagem de Grande Escala (LLM) é uma métrica primária para interpretar capacidades, custos e comparações de desempenho. No entanto, para os modelos de pesos fechados mais avançados desenvolvidos por grandes empresas de tecnologia (por exemplo, OpenAI, Google, Anthropic), essa métrica é quase sempre retida. Essa opacidade cria ambiguidade na comparação entre modelos fechados e abertos e obscurece os drivers econômicos da precificação de APIs e da latência.

O artigo aborda dois problemas específicos de inferência sob restrições estritas de caixa preta (acesso limitado à submissão de prompts e observação de saídas de texto, sem acesso a logits, pesos ou estados ocultos):

1. Inferência de Tamanho Absoluto: Estimar a contagem de parâmetros $|f|$ de um modelo desconhecido $f$.
2. Inferência de Tamanho Relativo: Determinar se $|f| > (1 + \tau)|g|$ para um limiar $\tau > 0$, estabelecendo se um modelo é significativamente maior que outro.

O desafio central é isolar o sinal do tamanho do modelo de variáveis de confusão, como distribuição de dados de treinamento, ajuste de instruções e escolhas arquitetônicas, que também influenciam a qualidade da geração de texto.

2. Metodologia

A abordagem proposta baseia-se na observação de que textos populares e amplamente circulados (por exemplo, literatura clássica, textos religiosos, documentos fundamentais) estão presentes em virtualmente todos os corpora de pré-treinamento em grande escala. Os autores hipotetizam que a capacidade de um modelo de prever com precisão o próximo token nesses textos memorizados é fundamentalmente limitada pela sua contagem total de parâmetros.

Coleta de Dados e Extração de Sinal:

• Textos de Origem: Um conjunto diversificado de 37 textos públicos populares (por exemplo, Alice no País das Maravilhas, A Bíblia) e 4 textos de base obscuros são utilizados.
• Métricas de Precisão: Para um modelo $M$, texto $T$ e comprimento de prefixo $l$, os autores calculam a precisão bruta ($\hat{\alpha}_r$) e a precisão elevada ($\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$, onde $\hat{\beta}$ é a precisão de base em textos obscuros).
• Perfil de Precisão: Ao amostrar múltiplos comprimentos de prefixo e textos, o método constrói um vetor de perfil de precisão de alta dimensão ($A_{T,L}(M) \in \mathbb{R}^{2KL}$) para cada modelo, agregando o desempenho em diversos contextos.

Framework de Inferência:
O artigo introduz dois métodos complementares para traduzir esses perfis de precisão em estimativas de tamanho:

1. Estimador de Lei de Escala (Inferência Absoluta):

   • Projeção PCA: A Análise de Componentes Principais (PCA) é aplicada aos perfis de precisão de modelos de pesos abertos conhecidos para extrair um índice latente unidimensional de tamanho ($z_M$). Este índice captura a variância dominante no desempenho, assumida como impulsionada pela contagem de parâmetros.
   • Escala Exponencial: Com base nas leis de escala neural, a relação entre o índice latente $z$ e a contagem de parâmetros $\theta$ é modelada como exponencial: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$. Esta curva é calibrada usando modelos de pesos abertos com tamanhos conhecidos.
   • Limite Conservador: Para modelos fechados, a estimativa é derivada desta curva, mas ajustada por um fator de 0,5 (com base nas margens de erro de validação cruzada) para produzir um limite inferior conservador.

2. Teste Estatístico Pares (Inferência Relativa):

   • Teste de Permutação de Sinais Bloqueado: Para comparar dois modelos $f$ e $g$, o método calcula a diferença em seus perfis de precisão. Como as medições dentro do mesmo texto são correlacionadas, o teste trata cada texto de origem como um "bloco".
   • Teste de Hipótese: Um teste de permutação de sinais bloqueado de um lado avalia se as diferenças de precisão favorecem sistematicamente um modelo sobre o outro. A hipótese nula ($H_0$) assume nenhuma vantagem sistemática. A rejeição de $H_0$ indica que o modelo superior é provavelmente maior.
   • Limiarização: O teste determina se $|f| > (1+\tau)|g|$ com uma taxa de falsos positivos controlada.

Escopo e Limitações:
O método assume modelos de propósito geral treinados em corpora padrão em escala de internet. Ele é explicitamente delimitado para excluir modelos com esquecimento catastrófico devido a ajuste fino especializado (por exemplo, modelos apenas de código) ou aqueles que empregam evasão estratégica (por exemplo, desaprendizagem intencional de textos públicos). Para arquiteturas de Mistura de Especialistas (MoE), o método fornece um limite inferior conservador para a contagem total de parâmetros, pois os parâmetros ativos durante a inferência são um subconjunto do total.

3. Contribuições Principais

1. Sinal de Tamanho Baseado em Memorização: O artigo demonstra que agregar a precisão do próximo token em textos populares gera um sinal robusto e de alta dimensão fortemente correlacionado com o tamanho do modelo, mesmo na ausência de acesso interno ao modelo.
2. Framework Duplo de Limite Inferior: Propõe uma abordagem de método duplo combinando um estimador de lei de escala orientado por PCA e um teste estatístico rigoroso de pares. A inferência final para qualquer modelo-alvo é o máximo dos limites produzidos por esses dois métodos.
3. Validação e Aplicação: O framework é validado em 19 modelos densos de pesos abertos (atingindo $R^2 = 0,95$ para estimativa absoluta e ~90% de precisão/recall para teste relativo), 16 modelos MoE de pesos abertos e 21 modelos fechados populares.

4. Resultados

• Modelos Densos de Pesos Abertos: O estimador de lei de escala atingiu um $R^2$ de 0,9504 no conjunto de calibração e 0,9387 na validação cruzada leave-one-out. Todas as previsões caíram dentro de uma faixa de erro de fator dois.
• Modelos MoE de Pesos Abertos: O framework estabeleceu com sucesso limites inferiores válidos para todos os 16 modelos MoE avaliados. Embora a "aproximação" (razão entre o limite e o tamanho real) tenha variado significativamente (por exemplo, 86% para WizardLM-2-8x22b vs. 11% para Mimo-v2-pro), os limites foram consistentemente conservadores (nunca excedendo o tamanho real).
• Modelos de Pesos Fechados: Aplicado a 21 modelos da Anthropic, Google, OpenAI e Alibaba, o framework:
  • Recuperou corretamente hierarquias internas de produtos (por exemplo, Opus > Sonnet > Haiku para a Anthropic).
  • Revelou estratégias de escala divergentes da indústria:
    • Google e Anthropic: Mostraram escala geracional significativa, com limites inferiores excedendo 400B parâmetros para modelos principais (por exemplo, Claude Opus 4.6 em 433B, Gemini 3 Flash em 405B).
    • OpenAI e Alibaba: Operaram sob tetos de parâmetros estritos. Modelos principais como GPT-4o e Qwen3.6-Max foram limitados perto de 110B, sugerindo que os ganhos de desempenho são impulsionados por otimização algorítmica ou qualidade de dados, em vez de expansão massiva de parâmetros.
  • Identificou limites específicos para variantes menores (por exemplo, GPT-5.4-nano em 2B, Claude Haiku 4.5 em 49B).

5. Significado e Alegações

O artigo afirma fornecer a primeira metodologia sistemática de caixa preta para sondar as escolhas de design ocultas de LLMs fechados. Ao demonstrar que o tamanho do modelo deixa uma "impressão digital" detectável na memorização de textos de domínio público, os autores mostram que:

• Transparência: É possível inferir limites inferiores conservadores sobre o tamanho do modelo sem acesso a pesos ou logits.
• Insight Estratégico: O método revela que a indústria não é monolítica; alguns provedores estão escalando parâmetros agressivamente, enquanto outros parecem ter atingido um teto de parâmetros, dependendo de outras alavancas para melhorias de capacidade.
• Robustez: A abordagem é robusta contra variações nos dados de treinamento e arquitetura para modelos de propósito geral, desde que o sinal de memorização não seja intencionalmente suprimido.

Os autores permanecem modestos, reconhecendo que os limites são conservadores por construção e que recuperar a contagem exata de parâmetros para arquiteturas MoE ou modelos com evasão estratégica permanece um desafio em aberto. O trabalho não afirma substituir métricas internas, mas oferece uma sonda externa rigorosa para a "caixa preta" do desenvolvimento moderno de IA.