Resumo Técnico: Ameaças à Validade na Pesquisa de Modelos de Fundação

Declaração do Problema

O advento dos modelos de fundação aumentou dramaticamente o custo computacional do treinamento de sistemas de aprendizado de máquina de última geração, muitas vezes exigindo dezenas de milhares de GPUs. Consequentemente, o experimento controlado ideal — treinar múltiplos modelos com diferentes receitas para isolar efeitos causais — é computacionalmente proibitivo. Para contornar esses custos, a comunidade de pesquisa adotou estratégias de aproximação, incluindo experimentos de proxy (usando modelos menores ou tratamentos mais baratos), estudos observacionais (analisando metadados públicos) e designs de execução única (aproveitando a variação interna dentro de uma única execução de treinamento).

O problema central abordado neste trabalho é que essas estratégias de economia de custos introduzem ameaças à validade: suposições ocultas e, por vezes, não testáveis. Quando essas suposições são violadas, as reivindicações de pesquisa sobre o comportamento do modelo, hiperparâmetros ideais ou composição de dados podem tornar-se fundamentalmente incorretas ou inaplicáveis. Os autores argumentam que "não há almoço grátis" ao aproximar experimentos de larga escala; a economia em computação inevitavelmente vem ao custo da validade.

Metodologia

O artigo propõe um framework de avaliação que formaliza a pesquisa de modelos de fundação como um problema de inferência causal. O objetivo é aproximar o "experimento ideal" que identifica o efeito do tratamento específico da receita, definido como:
$$\tau(a, y; \psi) = E[y(a) | \psi] - E[y(\emptyset) | \psi]$$
onde $\psi$ é a receita de treinamento, $a$ é um tratamento (mudança na receita) e $y$ é o resultado.

O framework decompõe a análise em duas camadas:

1. Estratégias de Pesquisa: Os autores categorizam as práticas atuais em três estratégias primárias:

   • A Abordagem de Proxy: Realizar experimentos em proxies mais baratos (modelos menores, tratamentos de proxy como ajuste fino em vez de pré-treinamento, ou resultados de proxy como perda de validação) e extrapolar para a escala alvo.
   • A Abordagem Observacional: Analisar metadados de modelos públicos existentes para inferir relações entre escolhas de treinamento e resultados sem novas execuções de treinamento.
   • A Abordagem de Execução Única: Emular múltiplos experimentos dentro de uma única execução de treinamento, tratando pontos de dados ou subpalavras como unidades independentes ou usando controles teóricos (ex: funções de influência, dados canário).

2. Tipos de Validade: Adaptando uma taxonomia das ciências sociais empíricas, o framework avalia as estratégias através de quatro lentes:

   • Validade Estatística: Confiabilidade das estimativas dados amostras finitas e ruidosas.
   • Validade Interna: Se uma estimativa reflete um efeito causal genuíno em vez de mera associação.
   • Validade Externa: Se os achados se generalizam do proxy ou da amostra para a receita de treinamento alvo (ex: através de escalas ou famílias de modelos).
   • Validade de Construto: Se a operacionalização do tratamento e do resultado reflete com precisão a questão de pesquisa pretendida.

Contribuições Principais e Resultados

1. Caracterização de Perfis de Validade

O artigo sintetiza as ameaças à validade inerentes a cada estratégia em um "perfil de validade", classificando as ameaças como "não afetado", "requer consideração cuidadosa" ou "ameaça principal".

• Modelos de Proxy:
  • Pontos Fortes: Geralmente preservam a validade estatística e interna (se experimentos controlados forem usados) e a validade de construto (se o tratamento/resultado original for usado).
  • Ameaça Principal: Validade Externa. A suposição de que os efeitos do tratamento escalam previsivelmente (ex: via leis de escala) é frequentemente não verificada. A previsibilidade quebra entre diferentes receitas de treinamento ou quando comportamentos emergentes ocorrem.
• Tratamentos e Resultados de Proxy:
  • Pontos Fortes: Não ameaçam inerentemente a validade estatística, interna ou externa em relação ao modelo alvo.
  • Ameaça Principal: Validade de Construto. Substituir o tratamento (ex: ajuste fino em vez de pré-treinamento) ou o resultado (ex: subconjuntos de benchmark) frequentemente altera fundamentalmente o estimando causal. Por exemplo, proxies de ajuste fino podem superestimar a vazão de privacidade devido a dinâmicas de memorização diferentes comparadas ao pré-treinamento de época única.
• Abordagem Observacional:
  • Pontos Fortes: Mantém evidências na escala alvo e pode oferecer alta validade estatística ao agrupar dados entre famílias.
  • Ameaça Principal: Validade Interna. A abordagem depende da suposição não testável de trocabilidade (ausência de confusão). Confundidores como "tempo de calendário" (onde modelos mais novos se beneficiam tanto de avanços arquitetônicos quanto de misturas de dados curadas) podem induzir associações espúrias. Além disso, a Validade Externa é ameaçada pela heterogeneidade de efeito entre famílias de modelos; o agrupamento de dados neutraliza essas diferenças, potencialmente obscurecendo efeitos específicos da receita.
• Abordagem de Execução Única:
  • Pontos Fortes: Pode fornecer insights detalhados e manter a validade estatística com grandes populações dentro da execução.
  • Ameaça Principal: Validade Interna devido à interferência. A suposição de que tratar uma unidade (ex: um ponto de dado) não afeta outras é tensionada porque todas as unidades compartilham os mesmos parâmetros do modelo; o treinamento no ponto $i$ atualiza os parâmetros usados para o ponto $j$. Além disso, a Validade Externa entre unidades é ameaçada se os efeitos forem heterogêneos.

2. Identificação de Ameaças Sub-Abordadas

A análise revela ameaças à validade específicas que receberam atenção insuficiente na literatura:

• A violação da trocabilidade em estudos observacionais devido à confusão pelo tempo de calendário e composição de dados.
• A interferência entre unidades em designs de execução única, o que viola a Suposição de Valor de Tratamento de Unidade Estável (SUTVA).
• A mudança fundamental na validade de construto quando tratamentos de proxy (como ajuste fino de múltiplas épocas) são usados para aproximar dinâmicas de pré-treinamento.

3. Kit de Ferramentas Prático

O artigo fornece uma matriz (Tabela 1) que serve como um kit de ferramentas prático para pesquisadores e revisores. Ela permite que eles:

• Identifiquem explicitamente quais tipos de validade estão em risco para um determinado design.
• Torne as suposições ocultas explícitas.
• Compreendam as trocas necessárias ao combinar estratégias (ex: um estudo observacional que usa um tratamento de proxy acumula ameaças de validade).

Significância e Alegações

Os autores alegam que seu framework fornece uma linguagem comum para discutir validade na pesquisa de modelos de fundação, preenchendo a lacuna entre a teoria de inferência causal e a prática de aprendizado de máquina empírica.

• Para Autores: O framework oferece um vocabulário para defender as trocas necessárias e tornar as suposições ocultas explícitas, garantindo que as reivindicações estejam alinhadas com as ameaças de validade ativas do design escolhido.
• Para Revisores: Fornece uma base estruturada para avaliar se as conclusões de um artigo são sustentadas por sua metodologia subjacente, particularmente quando múltiplas estratégias de aproximação são combinadas.
• Para o Campo: O artigo argumenta que, embora o experimento ideal seja frequentemente inviável, os pesquisadores devem estar cientes de que "a economia em computação vem ao custo de ameaças à validade". O framework não propõe uma solução única para eliminar essas ameaças, mas sim um método sistemático para escrutiná-las, sugerindo que conclusões robustas podem exigir a busca de múltiplas estratégias em paralelo ou o apoio ao conhecimento científico acumulado sobre a confiabilidade de ameaças específicas.

O trabalho enfatiza que a validade não é uma propriedade binária, mas um espectro de riscos que deve ser gerenciado através de um design cuidadoso e do reconhecimento explícito das suposições.