From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise

Este artigo apresenta um pipeline determinístico e automatizado que transforma corpora de domínio bruto em benchmarks de estilo "completar" para avaliar de forma escalável, imparcial e independente de outros LLMs o conhecimento específico de domínio em modelos de linguagem, superando as limitações de contaminação e viés dos benchmarks existentes.

O essencial

Imagine que você tem um gigante da inteligência artificial (um LLM) e quer saber o quanto ele realmente sabe sobre um assunto específico, como medicina, direito ou física. O problema é: como testar esse gigante sem que ele "trapaçee" ou sem gastar uma fortuna?

Este artigo apresenta uma solução inteligente e automática para esse problema. Vamos explicar como funciona usando analogias do dia a dia.

1. O Problema: As Provas Antigas Estão "Viciadas"

Atualmente, para testar esses modelos, usamos duas coisas principais:

• Perguntas de Múltipla Escolha (MCQ): Tipo o ENEM ou concursos.
  • O problema: É como se a prova mudasse de resposta dependendo de onde você escreve a letra "A". Se você embaralhar as opções, o modelo pode errar ou acertar por sorte, não por conhecimento. Além disso, muitos desses modelos já "leram" essas perguntas na internet antes de serem treinados, então eles apenas decoraram a resposta, não aprenderam o conceito. É como um aluno que decora o gabarito em vez de estudar a matéria.
• Medidas de "Confusão" (Perplexidade): É como medir o quão confuso o modelo fica ao ler um texto.
  • O problema: Isso mede se o modelo é um bom escritor geral, mas não se ele sabe especificamente sobre o assunto que você quer. Um modelo pode escrever textos lindos sobre qualquer coisa, mas não saber nada de medicina.

2. A Solução: O "Detetive de Palavras-Chave"

Os autores criaram um pipeline (um processo automático) que transforma textos brutos de um domínio (como artigos científicos) em um novo tipo de teste.

Pense no processo como se fosse cozinhar um prato especial a partir de ingredientes frescos:

1. Escolha dos Ingredientes (Extração de Palavras-Chave):
   O sistema pega uma pilha enorme de textos (ex: artigos de medicina) e identifica as palavras mais importantes e específicas, como "antibiótico", "dosagem" ou "efeito colateral". Ele ignora palavras comuns como "o", "a" ou "estudo".
2. Preparando o Prato (Criação de Frases):
   O sistema pega essas palavras e cria frases incompletas que exigem essa palavra específica para fazer sentido.
   • Exemplo: "O médico prescreveu um remédio para tratar a infecção, que é conhecido como..."
   • Resposta esperada: "...antibiótico".
3. O Teste (Completar a Frase):
   Em vez de pedir para o modelo escolher entre A, B, C ou D, o sistema pede para o modelo completar a frase. É como um jogo de "Complete a frase" ou "Caça-palavras".
   • Se o modelo sabe o assunto, ele vai "adivinhar" a palavra correta logo de cara.
   • Se ele não sabe, ele vai tentar adivinhar palavras aleatórias.

3. Por que isso é genial?

• Sem Trapaça (Contaminação Zero): Como o sistema cria as perguntas na hora, usando textos novos que o modelo nunca viu, é impossível o modelo ter decorado a resposta. É uma prova surpresa feita sob medida.
• Justo para Todos: Funciona tanto para modelos "cruos" (que só leem e escrevem) quanto para modelos "educados" (que conversam com humanos). A prova é a mesma para todos.
• Barato e Rápido: Não precisa de humanos para criar as perguntas nem de outro modelo de IA para corrigir. É tudo automático.
• Mede o que Importa: O sistema não olha se o modelo é confiante, mas sim onde a palavra correta aparece na lista de possibilidades dele. Se a palavra certa é a primeira opção que o modelo pensa, ele sabe o assunto. Se a palavra certa está lá no final da lista, ele não sabe.

4. O Que Eles Descobriram?

Ao usar esse novo método, eles descobriram algumas coisas interessantes:

• A "Taxa de Alinhamento": Quando os modelos são treinados para serem "educados" e conversarem bem (os modelos de chat), eles às vezes esquecem um pouco do conhecimento técnico que tinham antes. É como se, ao aprender a ser simpático, o médico perdesse um pouco da precisão técnica.
• Aprendizado Real: O método consegue ver exatamente quando o modelo está aprendendo algo novo durante o treinamento, algo que os métodos antigos não conseguiam detectar com clareza.

Resumo da Ópera

Os autores criaram uma máquina automática que transforma livros e artigos em provas de completar frases. Isso permite testar se uma Inteligência Artificial realmente sabe o assunto (como medicina ou física) sem que ela possa trapacear, sem gastar dinheiro com humanos e sem depender de perguntas de múltipla escolha falhas. É como trocar uma prova de "marcar X" por um jogo de "completar a frase" onde só quem estudou de verdade consegue acertar a palavra exata.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise", apresentado em português:

1. O Problema

A avaliação precisa de Grandes Modelos de Linguagem (LLMs) em domínios específicos (como saúde, direito e educação) é crítica, mas os métodos existentes apresentam falhas significativas:

• Benchmarks de Múltipla Escolha (MCQ): Benchmarks populares como MMLU sofrem de vieses intrínsecos, onde a ordem das opções ou o formato do prompt altera drasticamente a precisão do modelo. Além disso, eles frequentemente não avaliam o conhecimento real, mas sim a capacidade de seguir instruções ou adivinhar padrões.
• Contaminação de Dados: Muitos benchmarks estáticos já estão incorporados nos conjuntos de dados de treinamento dos modelos, invalidando os resultados de avaliação.
• Limitações da Perplexidade: A perplexidade mede a fluência linguística geral, não o conhecimento específico de domínio, tornando-se um indicador impreciso para especialização.
• Custo e Escalabilidade: A criação manual de benchmarks é cara e lenta, dificultando a atualização com novos dados e a avaliação de subdomínios específicos.

2. Metodologia

Os autores propõem um pipeline determinístico e automatizado que transforma corpora de texto brutos de um domínio específico em benchmarks do tipo "completamento" (completion-style), sem depender de outros LLMs ou anotação humana. O processo segue seis etapas principais:

1. Extração e Refinamento de Palavras-chave:
   • O pipeline processa resumos (abstracts) de documentos (ex: artigos do arXiv).
   • Gera n-grams (2 a 7 tokens), remove stopwords e vocabulário genérico.
   • Aplica filtragem baseada em comprimento e reduz redundância semântica (usando similaridade de cosseno > 0.85) para selecionar ~300 palavras-chave de alta qualidade por domínio.
2. Correspondência de Frases:
   • Utiliza embeddings (Sentence Transformers) para encontrar frases no texto completo que sejam semanticamente relacionadas a cada palavra-chave (limiar de similaridade de 0.5).
3. Construção de Vocabulário-Alvo (Target Vocabulary):
   • Extrai termos específicos do domínio das frases correspondentes.
   • Cria dois vocabulários distintos:
     • TF (Frequência de Termo): Termos comuns e relevantes ao domínio.
     • TF-IDF (Frequência de Termo-Inverso de Documento Freqüência): Termos mais raros e especializados (nichos).
4. Construção de Pares Prompt-Alvo:
   • Gera pares onde o prompt é uma frase truncada antes de um termo alvo, e o target é o termo específico do domínio que deve ser previsto.
   • Garante que os prompts tenham contexto suficiente (mínimo de 10 tokens) e que o alvo apareça logo após o corte.
5. Avaliação do Modelo:
   • O modelo recebe o prompt e deve prever o primeiro token do alvo.
   • Métrica Principal: Em vez de probabilidade (que é mal calibrada em LLMs), o artigo utiliza o Rank de Previsão (posição do token correto na distribuição de saída do modelo).
   • Para alvos multi-token, avalia-se sequencialmente, injetando os tokens corretos no prompt para manter o contexto.
   • Calcula-se a média recortada (trimmed mean) de 20% dos ranks para mitigar outliers.

3. Contribuições Chave

• Pipeline de Avaliação Livre de Contaminação: Como os benchmarks são gerados sob demanda a partir de corpora brutos (ou dados de teste retidos), o risco de contaminação por dados de treinamento é eliminado por design.
• Independência de LLMs: O processo de criação do benchmark não requer o uso de outros modelos de linguagem (como GPT-4 ou Claude) para gerar as questões, tornando-o mais barato e controlável.
• Avaliação Unificada para Base e Chat: O método de completamento alinha-se com o objetivo de treinamento (previsão do próximo token) tanto de modelos base quanto de modelos instruídos (chat), permitindo comparações justas que benchmarks de múltipla escolha não oferecem.
• Granularidade Arbitrária: Permite avaliar desde disciplinas amplas até subáreas de pesquisa específicas.

4. Resultados Principais

O pipeline foi validado em quatro domínios: CS.AI (Inteligência Artificial), Física (Sociedade), Biologia Quantitativa e Economia.

• Correlação com Especialistas: O pipeline automatizado (baseado em TF) apresentou uma correlação quase perfeita (r=0.99) com um benchmark manual curado por especialistas (extraído do livro Understanding Deep Learning). Benchmarks gerados por Claude também mostraram alta correlação (r=0.91) com o manual.
• Inferioridade de MCQs: Reordenar as opções em benchmarks MCQ (como MMLU) alterou significativamente a classificação dos modelos, confirmando sua instabilidade.
• Detecção de Adaptação de Domínio: Em experimentos controlados, modelos adaptados para domínios semanticamente próximos ao alvo obtiveram ranks melhores no pipeline proposto, enquanto a perplexidade e a taxa de atribuição (attribution rate) falharam em capturar essa nuance.
• Rastreamento de Aprendizado: O benchmark conseguiu traçar a aquisição de conhecimento durante o pré-treinamento geral (OLMo-2) e o pré-treinamento contínuo (Llama2-7B), mostrando padrões de aprendizado que a perplexidade ignorou.
• "Taxa de Alinhamento" (Alignment Tax): Ao comparar modelos base e chat, os autores descobriram que o ajuste fino por instrução (instruction tuning) frequentemente degrada o conhecimento de domínio específico. Modelos base geralmente superam suas versões chat em tarefas de completamento de domínio, indicando uma perda de conhecimento durante o processo de alinhamento.

5. Significado e Impacto

Este trabalho oferece uma alternativa fundamental para a avaliação de LLMs em domínios especializados. Ao substituir benchmarks estáticos e enviesados por um processo dinâmico, determinístico e baseado em completamento, os pesquisadores e praticantes podem:

1. Avaliar a verdadeira expertise de domínio sem o ruído de vieses de formato.
2. Monitorar a evolução do conhecimento durante o treinamento de modelos.
3. Tomar decisões mais informadas sobre qual modelo base utilizar para adaptação de domínio.
4. Evitar a contaminação de dados, garantindo a validade de longo prazo das avaliações.

Em resumo, o artigo demonstra que a avaliação de LLMs deve sair do paradigma de "perguntas de múltipla escolha" para "completamento de contexto", utilizando dados brutos do domínio para criar métricas robustas, escaláveis e livres de viés.