Resumo Técnico: Alinhamento Relevante para Implantação Não Pode Ser Inferido Apenas a partir de Avaliação no Nível do Modelo

Declaração do Problema

A avaliação atual de alinhamento em aprendizado de máquina foca predominantemente em métricas no nível do modelo ou no nível da resposta. Benchmarks influentes pontuam as saídas do modelo sob entradas fixas (por exemplo, veracidade, conformidade com instruções, preferência em pares) e tratam essas pontuações como evidência suficiente para alegações sobre alinhamento para implantação.

O artigo argumenta que essa inferência é inválida. O alinhamento relevante para implantação é um fenômeno no nível do sistema, dependente da interação entre o modelo ($M$), a estrutura de suporte ($S$—prompts, memória, ferramentas, interface de usuário) e o contexto de implantação ($C$—população de usuários, supervisão, política). Como os benchmarks atuais mantêm $S$ e $C$ fixos ou os ignoram, eles não podem medir propriedades essenciais para sistemas implantados, como suporte à verificação, controlabilidade do processo ou a distribuição do ônus de reparo. O artigo postula um problema de "não-identificabilidade": avaliar apenas $M$ não consegue distinguir entre diferentes implantações do mesmo modelo que exibem comportamentos drasticamente diferentes relevantes para o alinhamento devido a diferenças em $S$.

Metodologia

O artigo emprega dois estudos empíricos principais para apoiar sua posição:

1. Auditoria de Benchmark Estruturada

• Escopo: Uma auditoria codificada duplamente de 11 benchmarks primários (mais um controle de meta-avaliação, JudgeBench) e uma extensão para 16 benchmarks no total.
• Rubrica: Uma rubrica de oito dimensões derivada da literatura de alinhamento interacional e no nível de implantação (Terry et al., Shen et al. e trabalho empírico sobre fundamentação/reparo). As dimensões são:
  • D1: Alinhamento de Especificação (tratamento de solicitações subespecificadas).
  • D2: Alinhamento de Processo/Controlabilidade (controle do usuário sobre o processo de raciocínio).
  • D3: Alinhamento de Avaliação/ Suporte à Verificação (ajudar os usuários a verificar as saídas).
  • D4: Retenção de Contexto Multi-turno.
  • D5: Fundamentação/Comum Ground.
  • D6: Distribuição do Ônus de Reparo.
  • D7: Personalização/Alinhamento Específico do Usuário.
  • D8: Realismo do Fluxo de Trabalho/Supervisão.
• Protocolo: Dois codificadores externos treinados pontuaram independentemente os benchmarks em uma escala ancorada de 0 a 2 (0: ausente, 1: parcial/acidental, 2: substancial). Desacordos foram resolvidos por meio de reconciliação orientada por âncoras.
• Confiabilidade: O $\kappa$ de Cohen foi de 0,87 nas 128 células do corpus de 16 benchmarks.

2. Teste de Estresse Cego entre Modelos

• Design: Um estudo mantendo os pesos do modelo ($M$) e o contexto de implantação ($C$) aproximadamente fixos, variando apenas a estrutura de suporte de interação ($S$).
• Variáveis:
  • Modelos: Três modelos de fronteira (Claude-Opus-4.7, GPT-4o, Llama-4-Scout).
  • Estruturas de Suporte: Quatro condições variando de um chatbot simples (C1) a prompts explícitos de suporte à verificação (C4).
  • Dados: 180 transcrições (60 por modelo) nos domínios médico, jurídico e técnico.
• Protocolo: As transcrições foram cegadas, desprovidas de prompts do sistema e codificadas por dois avaliadores para D1, D2 e D3. Desacordos foram resolvidos usando uma política de mínimo conservador.

Principais Descobertas

Da Auditoria de Benchmark

1. O Vácuo D3: O suporte à verificação (D3) está ausente em todos os 11 benchmarks auditados. Nenhum benchmark avalia explicitamente se a saída de um modelo ajuda um usuário a verificar, criticar ou entender a resposta.
2. Quase Ausência de Controlabilidade: A controlabilidade do processo (D2) está quase ausente, pontuando diferente de zero em apenas um benchmark ($\tau$-bench) e, mesmo lá, apenas como uma pontuação parcial, não como controle explícito do usuário.
3. Fragmentação de Benchmarks Interacionais: Os quatro benchmarks interacionais identificados (CURATe, Rifts, $\tau$-bench, Common Ground) medem subconjuntos diferentes e não sobrepostos de dimensões. Não há um alvo de avaliação unificado para alinhamento interacional.
4. A Construção Determina a Medição: A estrutura da avaliação (como o benchmark é construído) determina o que é medido, não a fonte de dados. Por exemplo, o WildBench usa logs reais de usuários, mas pontua listas de verificação de resposta única, falhando em capturar propriedades interacionais apesar de seu realismo ecológico.

Do Teste de Estresse Cego entre Modelos

1. Eficácia da Estrutura Dependente do Modelo: A mesma estrutura de suporte ($S$) produz resultados comportamentais categoricamente diferentes entre os modelos.
   • Claude-Opus-4.7: Altamente plástico; a estrutura de verificação C4 elevou sua pontuação D3 de 0,42 para 2,00 (teto).
   • GPT-4o: Saturado; a mesma estrutura C4 teve efeito zero mensurável em D3 (permaneceu em 0,33).
   • Llama-4-Scout: Parcialmente invertido; mostrou sensibilidade fraca e ausência categórica de D2 em todas as estruturas de suporte.
2. Implicação: A lacuna identificada na auditoria (medições faltantes de propriedades interacionais) não pode ser fechada no nível do modelo porque a eficácia da estrutura de suporte é, em si, uma função dos pesos do modelo.

Principais Contribuições

1. Enquadramento Indexado por Nível: O artigo propõe distinguir quatro níveis de avaliação de alinhamento: Nível do Modelo (pesos/objetivos), Nível da Resposta (saídas sob entradas fixas), Nível da Interação (propriedades multi-turno) e Nível de Implantação (sistema-no-fluxo de trabalho). Argumenta que as alegações devem ser indexadas ao nível da evidência.
2. Evidência de Auditoria Estruturada: Fornece evidência empírica de que o ecossistema atual de benchmarks falha sistematicamente em medir dimensões interacionais críticas (especificamente D2 e D3).
3. Prova de Não-Identificabilidade: Demonstra, por meio do teste de estresse, que $B = f(M, S, C)$ não pode ser inferido apenas de $M$, pois $S$ interage com $M$ de maneiras dependentes do modelo.
4. Agenda de Avaliação: Propõe uma mudança de pontuações únicas de alinhamento para perfis de alinhamento. Isso inclui:
   • Relatar evidências através das oito dimensões.
   • Usar protocolos de estrutura de suporte fixa para avaliação interacional comparável.
   • Um modelo de relatório de seis linhas (Apêndice G.1) que força os autores a declarar explicitamente o escopo de suas alegações (quais configurações de $M, S, C$ a evidência suporta).

Significado e Alegações

O artigo alega que a dependência do campo de benchmarks no nível da resposta para licenciar alegações de alinhamento para implantação é estruturalmente falha. A "lacuna inferencial" entre o desempenho do benchmark e o comportamento implantado é maior do que atualmente reconhecido.

O significado do trabalho reside em:

• Corrigir o Escopo das Alegações: Argumentar que evidência no nível do modelo é insuficiente para alegações no nível de implantação e que adicionar mais benchmarks no nível da resposta não resolverá o problema.
• Disciplina Metodológica: Introduzir um quadro onde as alegações de alinhamento são explicitamente delimitadas ao nível da evidência coletada, prevenindo a confusão entre propriedades do modelo e comportamentos do sistema.
• Validação Empírica: Fornecer evidência direta de que propriedades interacionais não são intrínsecas ao modelo, mas sim propriedades emergentes do sistema ($M+S+C$), e que essas propriedades variam significativamente entre os modelos mesmo com estruturas de suporte idênticas.

O artigo não alega que a avaliação no nível do modelo seja inútil, mas sim que é insuficiente para alegações de implantação. Ele pede à comunidade que desenvolva vocabulários e protocolos avaliativos que levem em conta o sistema, a interação e o usuário, em vez de focar exclusivamente no modelo.