Resumo Técnico: O Alvo Móvel – Uma Auditoria Longitudinal da Deriva de Confiabilidade

1. Declaração do Problema

As práticas atuais no relato da confiabilidade de Grandes Modelos de Linguagem (LLMs) frequentemente tratam pontuações de benchmarks como certificados estáticos e transferíveis. Os model cards frequentemente citam pontuações de benchmarks de confiança (ex: TruthfulQA, BBQ) sem registrar o tempo específico da medição ou a versão do checkpoint. Consequentemente, essas pontuações são rotineiramente transportadas para sucessivos checkpoints da mesma linha de lançamento (ex: de "Mistral-7B-Instruct v0.1" para "v0.3") sob a suposição implícita de que o comportamento do modelo não mudou.

Este artigo investiga se essa suposição se sustenta. Ele postula que, para linhas de lançamento de código aberto, onde as misturas de pré-treinamento, receitas de ajuste de instrução (instruction-tuning), tokenizadores e escalas de modelos mudam entre gerações, uma pontuação de confiança medida no tempo $t$ pode não ser válida para um checkpoint subsequente em $t+\Delta$. A questão operacional central é: Uma pontuação de confiança de um ponto no tempo está sendo lida como um certificado transferível quando o checkpoint subjacente já se moveu?

2. Metodologia

2.1 Escopo e Design da Auditoria

O estudo conduz uma auditoria longitudinal de quatro linhas de lançamento de chat-LLM de código aberto: Yi, Qwen, Mistral e Gemma.

• Gerações: Cada linha de lançamento é avaliada em três gerações públicas sucessivas (G1 $\to$ G2 $\to$ G3), resultando em 12 checkpoints distintos.
• Benchmarks: Um cesto fixo de cinco benchmarks de confiança é utilizado, cobrindo três dimensões:
  • Veracidade (Truthfulness): TruthfulQA-MC1.
  • Equidade (Fairness): BBQ-mixed (mistura de MCQs ambíguos/desambiguados) e CrowS-Pairs-FC (MCQs de escolha forçada).
  • Segurança (Safety): ToxiGen-AT (limiar de toxicidade anotado por IA) e XSTest-TD (proxy de recusa derivado de tipo).
• Prompting: Cada benchmark é avaliado sob três templates de prompt distintos (variando a forma superficial e a estratégia de extração) para considerar a sensibilidade de configuração.
• Amostragem: Um subconjunto fixo e em cache de 200 itens por benchmark é reutilizado em todos os 12 checkpoints para garantir comparações pareadas.
• Protocolo de Avaliação: Os modelos são carregados em quantização 4-bit NF4 com decodificação greedy. As pontuações são calculadas como a média entre os três templates de prompt para cada checkpoint.

2.2 Métricas e Estrutura Estatística

A métrica primária é a Taxa de Deriva de Pontuação (SDR), definida como a diferença absoluta em pontos percentuais nas pontuações entre gerações adjacentes:
$$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$$
onde $F$ é o conjunto de linhas de lançamento, $B$ é o cesto de benchmarks, e $G_{trans}$ representa as transições adjacentes.

Para determinar se a deriva observada é estatisticamente significativa ou apenas ruído de amostragem, os autores constroem uma nulidade de referência de não-deriva agrupada:

• Mecanismo: Para cada trio $(f, b, t)$, uma taxa de sucesso agrupada é calculada através de todas as gerações. Em 5.000 iterações de bootstrap, novas pontuações são simuladas desenhando de uma distribuição Binomial baseada nesta taxa agrupada, tratando as gerações adjacentes como independentes.
• Propósito: Isso gera uma distribuição de $|SDR|$ esperada sob uma hipótese de "não-deriva". O agregado observado é comparado contra o percentil 99,9 desta distribuição nula.

3. Resultados Principais

3.1 Desfecho Primário: Deriva Significativa

O estudo descobre que as pontuações de confiabilidade derivam significativamente através das gerações, excedendo em muito o que seria esperado pelo ruído de amostragem.

• Deriva Observada: A deriva absoluta média entre gerações adjacentes ($|SDR|$) é de 8,00 pontos percentuais (pp) (IC 95%: [7,57, 9,12]).
• Comparação com a Nulidade: A nulidade de referência de não-deriva agrupada tem uma média de 2,22 pp e um percentil 99,9 de 3,30 pp.
• Significância: A deriva observada é 3,60 vezes maior que a média da nulidade e situa-se bem fora da cauda superior de $10^{-3}$ da distribuição nula ($p < 2 \times 10^{-4}$).
• Robustez: Este resultado mantém-se sob pontuação estrita (saídas não analisadas contadas como incorretas, elevando a deriva para 8,93 pp) e através de várias perturbações (removendo benchmarks específicos, linhas de lançamento ou células de baixo parsing), onde a deriva permanece na faixa de [6,36, 9,43] pp.

3.2 Diagnósticos Exploratórios

• Taxa de Regressão: 47,5% das transições de geração adjacente resultaram em uma regressão (pontuações menores), contradizendo a expectativa implícita de que "o mais recente é estritamente melhor".
• Volatilidade Dimensional: Benchmarks relacionados à equidade mostraram a maior volatilidade ($\sigma \approx 12,88$ pp), seguidos pela Veracidade ($\approx 11,72$ pp), enquanto a Segurança foi mais estável ($\approx 7,48$ pp).
• Persistência de Ranking: A estabilidade de ranking é fraca. A linha de lançamento com a pontuação mais alta mudou em 90% das células de benchmark/transição, e as ordenações pareadas inverteram-se 55% das vezes, performando apenas marginalmente melhor que os baselines de distribuição uniforme aleatória.
• Inversões de Conformidade: No limiar mediano empírico, a probabilidade de um benchmark cruzar o limiar entre gerações é $\ge 0,5$ para todos os benchmarks.

4. Contribuições e Implicações

4.1 Conclusão Central

O artigo conclui que as pontuações de confiança anexadas a uma linha de lançamento nomeada não devem ser presumidas como transferíveis para checkpoints posteriores sem nova medição. A evidência sugere que tratar essas pontuações como certificados transferíveis é operacionalmente insustentável.

4.2 Solução Proposta: Model Cards Longitudinais (LMC)

Os autores propõem o empacotamento do relato de confiança como um Model Card Longitudinal. Diferente dos model cards padrão, um LMC deve incluir:

• Identidade do Checkpoint: O hash de revisão específico do HuggingFace.
• Data de Avaliação: A data exata da medição.
• Contexto de Deriva: A pontuação de deriva em relação ao lançamento auditado anterior e ao resumo da nulidade de referência.
• Gatilho de Re-auditoria: Uma regra estabelecendo que qualquer "lançamento materialmente novo" (mudança em pesos, tokenizador, escala ou receita) aciona uma re-auditoria obrigatória em vez de transferência de pontuação.

4.3 Escopo das Alegações

Os autores limitam explicitamente o escopo de seus achados:

• Incluído: Variantes de avaliação de chat não canônicas dos cinco benchmarks específicos, subconjuntos fixos de 200 itens em cache e as quatro linhas de lançamento de código aberto auditadas (todas $\le 12B$ de parâmetros).
• Excluído: APIs de código fechado (ex: OpenAI, Anthropic), modelos maiores que 12B, protocolos de benchmark canônicos e regras de divulgação de cadência mensal fixa. O artigo não afirma que a deriva existe nesses domínios excluídos, observando que eles requerem avaliação separada.

5. Significância e Limitações

Significância: O artigo fornece a primeira auditoria longitudinal de grande escala de múltiplas famílias de LLMs de código aberto quanto à confiabilidade. Ele desafia o paradigma do "certificado estático" na governança de modelos, aquisições e divulgação regulatória, argumentando que a confiança é um artefato temporal e específico de cada checkpoint, em vez de uma propriedade permanente de uma linha de lançamento.

Limitações:

• Tamanho da Amostra: A auditoria cobre apenas 12 checkpoints em 4 famílias.
• Incerteza do Subconjunto de Itens: Os resultados dependem de um único subconjunto fixo de 200 itens por benchmark; o reamostragem de múltiplos seeds não foi realizada devido a restrições computacionais.
• Fatores de Confundimento: A deriva é uma mistura de mudanças de receita, mudanças de escala (ex: Gemma 7B $\to$ 12B) e mudanças de tokenizador. O estudo não separa esses drivers específicos.
• Quantização: Todos os modelos foram executados em 4-bit NF4, o que pode introduzir artefatos, embora a consistência tenha sido mantida dentro das linhas de lançamento.

O artigo não propõe novas metodologias estatísticas, mas aplica técnicas longitudinais e de bootstrap padrão a um domínio específico e anteriormente não auditado: a estabilidade das pontuações de confiança de LLMs de código aberto ao longo do tempo.