Resumo Técnico: SAGE (Augmentação de Robustez Automatizada e Escalável para Avaliação de Conhecimento em LLM)

Definição do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) demonstram atualmente alta precisão em benchmarks padrão de avaliação de conhecimento (por exemplo, MMLU, CommonsenseQA). No entanto, pesquisas recentes indicam que esses modelos permanecem "frágeis" quando confrontados com variantes de perguntas que testam o mesmo conhecimento subjacente, mas alteram a formulação ou o processo de raciocínio (por exemplo, negação, inferência causal ou refinamento de cenários).

Esforços existentes para aumentar benchmarks com tais variantes, como o HellaSwag-Pro, dependem de um pipeline "gerar-então-verificar" utilizando LLMs fortes e proprietários. Essa abordagem enfrenta dois gargalos críticos:

1. Baixo Rendimento: Modelos fortes frequentemente geram variantes inválidas ou de baixa qualidade, levando a altos custos de tokens (apenas ~46% dos candidatos sobreviveram ao controle de qualidade no HellaSwag-Pro).
2. Confiabilidade da Verificação: LLMs instanciados via prompt são pouco confiáveis ao julgar a validade das variantes, necessitando de anotação humana extensiva para filtrar candidatos.

Esses gargalos limitam a escalabilidade e a relação custo-benefício da criação de benchmarks de robustez em larga escala.

Metodologia: O Framework SAGE

Os autores propõem o SAGE (Geração Automatizada Escalável de BEnchmarks de Robustez), um framework projetado para automatizar a augmentação de robustez usando modelos menores fine-tuned em vez de prompts custosos de modelos fortes. O SAGE consiste em dois componentes principais e um pipeline de construção em três etapas.

1. Componentes Principais

• VariantQual (Verificador): Um verificador baseado em rubrica treinado para avaliar a qualidade das variantes geradas.
  • Design da Rubrica: Os autores decompõem a validade da variante em três dimensões:
    1. Conformidade de Tipo (TC): A variante preserva o conhecimento original enquanto satisfaz as restrições específicas do tipo de variante?
    2. Correção do Rótulo (LC): O rótulo anotado está correto dado o novo contexto e as opções?
    3. Unicidade da Resposta (AU): Existe exatamente uma resposta correta, sem duplicatas ou distratores irrelevantes?
  • Estratégia de Treinamento: O verificador é fine-tuned em dados semente rotulados por humanos do HellaSwag-Pro. O artigo compara a Agregação Explícita de Rubrica (ERA), que prevê cada dimensão separadamente, contra a Agregação Implícita de Rubrica (IRA), que prevê o rótulo final de validade conjuntamente. Os resultados empíricos favoreceram a IRA para uma precisão geral superior.
• VariantGen (Gerador): Um modelo responsável por gerar variantes de perguntas com base em uma pergunta original e um tipo de variante alvo.
  • Inicialização: Inicializado via Fine-Tuning Supervisionado (SFT) em exemplos semente anotados por humanos.
  • Otimização: Otimizado adicionalmente usando Otimização de Política Relativa em Grupo (GRPO). Nesta etapa, o VariantQual serve como modelo de recompensa, fornecendo pontuações de validade para guiar o gerador em direção a saídas de alta qualidade, sem exigir feedback humano durante a fase de RL.

2. Pipeline de Construção de Benchmark

O framework opera em três etapas:

1. SFT: Tanto o VariantGen quanto o VariantQual são fine-tuned em dados anotados por humanos (usando o Qwen3-0.6B como backbone).
2. Otimização RL: O VariantGen é otimizado usando GRPO, onde o VariantQual fornece sinais de recompensa baseados nas dimensões da rubrica.
3. Geração e Filtragem em Larga Escala: O sistema gera candidatos para todos os sete tipos de variantes pré-definidos (mapeados para a taxonomia cognitiva de Bloom). O VariantQual filtra esses candidatos, retendo apenas aqueles que passam em todas as três dimensões da rubrica. Esse processo se repete até que o número alvo de exemplos aceitos seja alcançado.

Contribuições Principais

1. Formalização da Tarefa: O artigo formaliza a tarefa de augmentação de robustez automatizada escalável, definida como a geração de variantes de perguntas válidas sob tipos pré-definidos.
2. Framework SAGE: Um framework inovador que substitui prompts caros de modelos fortes por um pipeline de geradores e avaliadores de modelos pequenos fine-tuned. Essa abordagem melhora tanto a eficiência de custos quanto a precisão de construção.
3. Validação Empírica: A aplicação do SAGE ao HellaSwag para construir um benchmark aumentado de robustez com 16.800 amostras. O framework demonstra generalização entre benchmarks para o MMLU sem fine-tuning adicional.

Resultados Experimentais

Os autores avaliaram o SAGE no HellaSwag e no MMLU em 12 LLMs de quatro famílias (Gemma, Llama, Qwen, GPT).

• Desempenho do Gerador: As variantes geradas pelo SAGE alcançaram uma taxa de aprovação de 91,80% (SFT + GRPO), superando uma linha de base baseada em prompt do Qwen2.5-Max (que alcançou ~90% em média, mas variou por tipo). O SAGE superou a linha de base em todos os sete tipos de variantes, com desempenho particularmente forte em transformações semânticas complexas como Refinamento de Cenário.
• Desempenho do Verificador: O modelo VariantQual (Qwen3-0.6B) alcançou 90,21% de precisão na validação de variantes. O estudo constatou que modelos maiores (1.7B, 4B) não superaram significativamente o modelo de 0.6B, sugerindo que a tarefa é suficientemente restrita para arquiteturas menores.
• Qualidade do Benchmark:
  • Correlação: O benchmark gerado pelo SAGE preservou a ordem relativa da robustez dos modelos estabelecida pelas referências HellaSwag-Pro anotadas por humanos. Os coeficientes de correlação de Spearman foram 0,857 para Precisão de Robustez Média (ARA) e 0,964 para Precisão de Robustez Consistente (CRA).
  • Descobertas de Robustez: Os experimentos confirmaram que a robustez fica atrás da capacidade. Enquanto a precisão original (OA) variou de 53% a 74%, a precisão de robustez (ARA) foi comprimida para 31%–37%. Aumentar o tamanho do modelo aumentou a Perda de Precisão de Robustez (RLA), indicando que ganhos de capacidade não se traduzem proporcionalmente em ganhos de robustez.
• Eficiência de Custos: O custo monetário total para os experimentos relatados foi de aproximadamente 284 USD, comparado a um estimado 7.064 USD para o processo de anotação humana no HellaSwag-Pro, representando uma redução de custos de ~25x.

Significado e Alegações

O artigo alega que o SAGE facilita uma transição de benchmarks estáticos e construídos manualmente para diagnósticos de robustez escaláveis e continuamente atualizados. Ao automatizar o pipeline de geração e verificação usando modelos pequenos e fine-tuned, o SAGE reduz as barreiras financeiras e logísticas para a criação de benchmarks de robustez de alta qualidade. Isso permite que grupos de pesquisa com recursos limitados participem da avaliação de LLMs e fornece um mecanismo para sondar sistematicamente as fraquezas dos modelos sob perturbações controladas.

Os autores mantêm uma postura modesta, observando que, embora o SAGE reduza significativamente a dependência de anotação humana, ele não a substitui totalmente para as variantes semanticamente mais complexas (por exemplo, Refinamento de Cenário), onde as taxas de conformidade estrita são menores. Além disso, o framework está atualmente limitado à avaliação de conhecimento de múltipla escolha e pode exigir adaptação para geração livre ou tarefas multimodais.