Resumo Técnico: O Testemunho Parcial dos Logs: Avaliação da Geração de Modelos de Linguagem sob Escolha de Modelo Confundida

Declaração do Problema

A avaliação offline de modelos de linguagem (LLMs) depende cada vez mais de logs de uso, dados de preferência e anotações de avaliadores coletados em implantações do mundo real. No entanto, quando a escolha do modelo é impulsionada pelo usuário, esses logs sofrem de confusão: os mesmos fatores não observados do lado do usuário ($U$) que influenciam qual modelo um usuário seleciona também influenciam como a saída desse modelo é julgada. Consequentemente, comparações brutas de pontuações registradas misturam subpopulações auto-selecionadas em vez de estimar uma quantidade causal comum de interesse.

Embora experimentos randomizados (EXP) possam quebrar esse viés ao substituir a escolha do modelo, eles são frequentemente escassos, caros e disruptivos na prática. A literatura existente sobre a combinação de grandes amostras observacionais enviesadas com pequenas amostras randomizadas geralmente assume que o resultado ao nível da unidade é observado em ambas. Na avaliação de LLMs, o "resultado" (o texto gerado) deve primeiro ser regenerado para modelos candidatos antes de poder ser pontuado, adicionando uma camada de complexidade onde o resultado alvo não é observado diretamente mesmo na amostra randomizada.

Metodologia: Um Design de Três Fontes

O artigo propõe um design de três fontes para abordar esse desafio, separando o problema em identificação (recuperar valores causais) e estimação (reduzir o erro).

Fontes de Dados

1. Log Observacional (OBS): Um grande conjunto de dados de escolhas de modelos auto-selecionadas, contextos, saídas e resultados. Fornece escala e supervisão auxiliar, mas é confundido.
2. Experimento Randomizado (EXP): Um pequeno conjunto de dados onde a escolha do modelo é randomizada, fornecendo rótulos de resultado não confundidos para saídas realizadas.
3. Simulador Offline (SIM): Um mecanismo que reproduz modelos candidatos em contextos em cache para gerar saídas contrafactuais (mediadores) para qualquer modelo, independentemente da escolha original.

Estrutura Causal e Suposições

O framework modela o sistema usando um grafo causal com contexto observado ($X$), estado do usuário latente ($U$), modelo escolhido ($A$), saída gerada ($M$) e resultado ($Y$). As suposições principais incluem:

• A1 (Randomização): Em EXP, $A \perp U | X$.
• A2 (Validade do SIM): O simulador corresponde com precisão à distribuição intervencionista do mediador $P(M | X, do(A=a))$.
• A3 (Consistência do Resultado): A lei condicional do resultado $P(Y | X, M, U)$ é invariante entre OBS, EXP e o mundo intervencionista.
• A4 (Sem Confusão de Mediador Latente): Condicionado a $(X, A)$, $U \perp M$. Isso restringe o framework a gerações de rodada única e sem estado.
• A5 (Alinhamento de Contexto): A distribuição de contexto alvo corresponde à distribuição de contexto do EXP.

Teorema de Identificação

O resultado teórico central do artigo (Teorema 1) estabelece que SIM e EXP são conjuntamente suficientes para identificar valores causais de modelos, tornando o OBS desnecessário para identificação.

• O experimento randomizado identifica a regra de pontuação não enviesada $r^*(x, m) = E[Y | X=x, M=m, EXP]$.
• O simulador fornece a distribuição intervencionista do mediador $p_{sim}(m | x, a)$.
• O valor causal é recuperado integrando a regra de pontuação sobre a distribuição simulada do mediador:
  $$q(x, a) = E_{M \sim p_{sim}(\cdot|x,a)}[r^*(x, M)]$$
  $$\mu(a) = E_{X}[q(X, a)]$$
  O log observacional (OBS) entra apenas após a identificação para melhorar a eficiência estatística (reduzir a variância), não para validar a comparação causal.

Famílias de Estimadores

Uma vez que o alvo é identificado, o artigo avalia seis famílias de estimadores que diferem na forma como utilizam o OBS para reduzir o erro de estimação:

1. Apenas EXP: Ajusta um modelo de recompensa usando apenas resultados randomizados. Não enviesado, mas com alta variância quando o EXP é pequeno.
2. Apenas OBS: Ajusta um modelo de recompensa em resultados registrados. Baixa variância, mas herda o viés de confusão.
3. Representação-EXP: Usa rótulos auxiliares do OBS para aprender uma representação proxy de baixa dimensão $\psi$, e então ajusta a cabeça de recompensa em $\psi$ usando dados do EXP.
4. Fundamentado (Grounded): Começa com um preditor base treinado no OBS, $f_{OBS}$, e usa o EXP para aprender um termo de correção no espaço proxy.
5. CVCI (Inferência Causal Validada Cruzadamente): Agrega diretamente problemas de regressão OBS e EXP, selecionando o peso de agregação $\lambda$ via validação cruzada causal no EXP.
6. CVCI-Residual: Residualiza o alvo em torno da base OBS ($Y - f_{OBS}$) e agrega o ajuste residual no espaço proxy.

Resultados Empíricos

Os autores avaliam esses estimadores em uma validação semi-sintética controlada e dois benchmarks reais em cache (resumo em CNN/DailyMail e codificação em SWE-bench Verified).

• Sem Domínio Universal: Nenhuma família única de estimadores domina todos os regimes. O desempenho depende fortemente da quantidade de supervisão EXP não enviesada e do alinhamento entre a estrutura observacional e a recompensa alvo.
• Benchmark de Resumo:
  • O CVCI alcançou o melhor rank médio e o menor arrependimento excessivo em 48 configurações.
  • O aumento do orçamento EXP ($n_{EXP}$) melhorou significativamente os estimadores baseados em EXP, enquanto o aumento do orçamento OBS ($n_{OBS}$) teve retornos decrescentes sob mapas de recompensa suaves.
  • Quando o mapa de recompensa foi "afinado" (não linear), o alinhamento entre representações proxy e o alvo degradou-se, causando quedas de desempenho para métodos baseados em representação.
• Benchmark de Codificação:
  • Os rankings mudaram com base na definição de recompensa. Quando a recompensa priorizou "qualidade do patch" (recursos auxiliares), o Representation-EXP performou competitivamente.
  • Quando a recompensa priorizou "sucesso real da correção" (um resultado binário não bem capturado por estatísticas auxiliares de patch), as famílias baseadas em OBS (OBS-Only, CVCI) superaram o Representation-EXP.
  • Isso destaca que a utilidade de proxies derivados do OBS depende de eles reterem o sinal relevante para a recompensa alvo específica.

Significado e Alegações

O artigo afirma fornecer um framework rigoroso para avaliação offline de LLMs que reconhece as limitações dos dados observacionais sem descartar sua escala.

• Identificação vs. Estimação: A contribuição primária é a separação teórica da identificação (resolvida por SIM+EXP) da estimação (onde o OBS ajuda). Isso esclarece que o OBS não pode corrigir viés causal; ele pode apenas reduzir a variância uma vez que o viés é removido via randomização e simulação.
• Orientação Prática: Os resultados empíricos sugerem que a escolha do estimador deve ser guiada pelo diagnóstico de "alinhamento-alvo". Se a estrutura dos dados observacionais (por exemplo, rótulos auxiliares) alinha-se bem com a recompensa alvo, métodos híbridos (como CVCI ou Grounded) são eficazes. Se o alvo depende de sinais não presentes nos proxies observacionais (por exemplo, sucesso real da correção vs. qualidade do patch), métodos assistidos por OBS podem falhar em superar baselines puramente randomizadas.
• Escopo: Os autores notam modestamente que essas conclusões aplicam-se a configurações de avaliação em cache de rodada única. O framework assume geração de rodada única (Suposição A4) e ainda não aborda configurações interativas de múltiplas rodadas ou incertezas mais amplas ao nível da população além dos alvos em cache.

Em resumo, o artigo argumenta que, embora grandes logs sejam valiosos para escala, eles são insuficientes para avaliação causal por si só. Um pequeno experimento randomizado combinado com um simulador é o requisito mínimo para identificação válida, com dados observacionais servindo como uma ferramenta de redução de variância contingente ao alinhamento específico entre os dados e o objetivo de avaliação.