Resumo Técnico: CRAFT – Agrupamento de Rubricas para Diagnosticar Capacidades Fracas de LLMs

1. Declaração do Problema

Os pipelines de avaliação atuais para Grandes Modelos de Linguagem (LLMs) servem primariamente para medir o desempenho, mas frequentemente falham em diagnosticar o porquê de um modelo falhar. Os benchmarks padrão tipicamente resumem os resultados ao nível da tarefa ou da categoria (ex: "fraco em matemática"), o que confunde falhas distintas subjacentes. Por exemplo, uma pontuação baixa em um problema de matemática pode decorrer da seleção da equação errada, de um erro aritmético ou da omissão de unidades — falhas que exigem intervenções diferentes.

Embora as avaliações baseadas em rubricas decomponham as respostas em critérios explícitos, o trabalho existente trata esses critérios majoritariamente como dispositivos de pontuação independentes ou sinais de recompensa. Existe uma lacuna no aproveitamento de conjuntos de dados de rubricas para gerar um diagnóstico estruturado e específico do modelo sobre capacidades fracas que possa guiar diretamente a coleta de dados direcionados para o pós-treinamento.

2. Metodologia: CRAFT

Os autores propõem o CRAFT (Clustering Rubrics for Actionable Fine-Tuning), um método que converte dados de avaliação anotados com rubricas em um diagnóstico hierárquico e específico do modelo sobre capacidades fracas. O pipeline consiste em quatro estágios principais:

2.1 Extração de Capacidade

O CRAFT trata cada par prompt–rubrica como uma "sonda de capacidade". Para cada critério no conjunto de dados, um modelo de linguagem extrai uma descrição em linguagem natural, curta e descontextualizada, da capacidade específica necessária para satisfazer esse critério. Isso transforma o conjunto de dados de uma coleção de regras de graduação em um pool de descrições de capacidade.

2.2 Agrupamento Hierárquico

As descrições de capacidade extraídas são organizadas em uma árvore hierárquica usando um procedimento de baixo para cima, nível por nível, adaptado do Clio:

• Níveis Superiores Fixos: Se o conjunto de dados fornecer metadados (ex: domínio ou subcategoria), estes definem os níveis mais altos da árvore para preservar as taxonomias pretendidas.
• Agrupamento de Nível Base: Dentro de cada grupo, as descrições de capacidade são incorporadas (embedded) e particionadas via $k$-means em clusters base. Um LLM nomeia cada cluster para gerar uma descrição semântica.
• Construção de Nível Superior: A árvore é construída dinamicamente. Nós internos são criados resumindo os clusters filhos, consolidando candidatos, roteando filhos para pais e refinando as descrições dos pais. A profundidade da árvore não é fixa; ela é determinada pelo tamanho dos dados, permitindo que conjuntos de dados maiores produzam hierarquias mais profundas.

2.3 Pontuação e Seleção Dinâmica

O modelo alvo é avaliado contra os critérios da rubrica usando um LLM-como-juiz para gerar rótulos de aprovação/reprovação (pass/fail). Essas pontuações de folha são agregadas para cima para calcular uma taxa de aprovação para cada nó na árvore.

• Seleção Dinâmica: Em vez de se comprometer com uma profundidade de árvore fixa, o CRAFT realiza uma busca de topo para baixo e entre níveis para identificar nós de baixo desempenho. Um nó é selecionado apenas se possuir suporte suficiente (ex: >30 critérios) e atender a um limite de taxa de aprovação.
• Granularidade: Uma vez selecionado um nó, seus ancestrais e descendentes são excluídos para garantir regiões de capacidade fraca disjuntas. Isso permite que o método selecione fraquezas na granularidade específica onde elas são expressas de forma mais clara (ex: um nó pai amplo para uma fraqueza geral ou um nó filho estreito para uma falha específica).

2.4 Geração de Dados Direcionados

Os nós de capacidade fraca selecionados servem como alvos para a geração de dados de ajuste fino supervisionado (SFT). Para cada nó fraco, 40 prompts sintéticos são gerados, condicionados à descrição do nó, exemplos e contexto da árvore. Esses prompts são projetados para visar a fraqueza diagnosticada especificamente, evitando a sobreposição com capacidades adjacentes.

3. Configuração Experimental

Os autores avaliaram o CRAFT contra dois baselines em quatro modelos de código aberto (Qwen3-4B, Qwen3-8B, Gemma-3-4B, Llama-3.1-8B-Instruct) em dois domínios profissionais: Finanças e Jurídico.

• Baselines:
  • EvalTree: Um método de agrupamento hierárquico ao nível do prompt que organiza prompts inteiros em vez de critérios de rubrica.
  • Random: Uma abordagem não direcionada que amostra prompts uniformemente do pool do domínio sem construir uma hierarquia ou diagnosticar fraquezas.
• Controles: Todos os métodos utilizaram configurações de downstream idênticas: o mesmo modelo professor para geração, um orçamento fixo de 1.000 exemplos, hiperparâmetros de SFT idênticos e o mesmo protocolo de avaliação. Os resultados foram calculados pela média de execuções repetidas com decodificação por temperatura para considerar a variância.
• Benchmarks: O desempenho foi medido em 13 benchmarks retidos (7 jurídicos, 6 financeiros) disjuntos dos dados de diagnóstico.

4. Resultados Principais

• Domínio de Finanças: O CRAFT alcançou o melhor desempenho médio de domínio para todos os quatro modelos. As melhorias foram particularmente significativas para o Qwen3-4B e Llama-3.1-8B, onde o CRAFT superou os baselines em mais de 5 pontos na média do domínio.
• Domínio Jurídico: O CRAFT alcançou o melhor desempenho médio para três dos quatro modelos. Para o quarto modelo (Qwen3-8B), a pontuação do CRAFT ficou dentro da banda de variância de decodificação do melhor baseline (EvalTree), indicando desempenho comparável.
• Estudo de Ablação: Os autores compararam a seleção dinâmica do CRAFT com a seleção de nível fixo (L4 e L5). A seleção dinâmica superou consistentemente os níveis fixos, demonstrando que as fraquezas se manifestam em diferentes profundidades dependendo do modelo e do domínio. Os níveis fixos ou fragmentavam fraquezas amplas ou fundiam fraquezas estreitas, enquanto a seleção dinâmica se adaptava às evidências.

5. Significância e Alegações

O artigo afirma que o CRAFT demonstra o valor de ir além dos diagnósticos de nível de tarefa ou de prompt para o diagnóstico ao nível de critério de rubrica.

• Granularidade Diagnóstica: Ao tratar os critérios de rubrica como sondas de capacidade, o CRAF identifica por que um modelo falha (ex: passos de raciocínio específicos ou requisitos de formatação) em vez de apenas onde ele falha.
• Saída Acionável: O método traduz falhas medidas diretamente em dados de ajuste fino direcionados. Os resultados sugerem que as avaliações são mais úteis para o pós-treinamento quando explicam os modos de falha e as convertem em alvos de treinamento específicos.
• Superioridade sobre o Agrupamento de Nível de Prompt: A comparação com o EvalTree indica que organizar os dados por critérios de rubrica fornece unidades diagnósticas mais informativas do que organizar por prompts inteiros.
• Valor da Estrutura: A comparação com o baseline Random confirma que simplesmente adicionar mais dados do mesmo domínio é menos eficaz do que estruturar esses dados em torno de uma hierarquia de capacidade pontuada e visar nós fracos específicos.

Em resumo, os autores postulam que o CRAFT fornece uma imagem mais nítida das limitações do modelo e gera modelos mensuravelmente melhores após o ajuste fino, ao abordar as causas raízes da falha identificadas através do agrupamento de rubricas.