Diagnosing Capability Gaps in Fine-Tuning Data

1. Declaração do Problema

O ajuste fino (fine-tuning) de Modelos de Linguagem de Grande Escala (LLMs) para tarefas específicas de domínio (por exemplo, QA médica, sumarização jurídica, geração de código) requer conjuntos de dados de treinamento que cubram de forma abrangente as capacidades específicas necessárias. No entanto, os praticantes atualmente carecem de uma maneira fundamentada para determinar se um conjunto de dados suporta um objetivo de alto nível antes de comprometer-se com uma execução de ajuste fino dispendiosa.

Os métodos existentes dependem de métricas agregadas (perplexidade, BLEU) ou análise de desempenho post-hoc, que falham em:

• Localizar lacunas específicas de capacidade (por exemplo, um modelo pode resumir bem em geral, mas falhar em detalhes monetários em contas jurídicas).
• Identificar sub-objetivos não apoiados até que ocorram falhas em produção.
• Fornecer sinais acionáveis para curadoria de conjuntos de dados ou geração de dados sintéticos.

2. Metodologia: O Framework GOALCOVER

Os autores introduzem o GOALCOVER, um framework de quatro fases projetado para detectar proativamente lacunas de capacidade por meio de decomposição interativa de objetivos e avaliação automatizada de cobertura.

Fase 1: Esclarecimento Interativo de Objetivos

Em vez de aceitar um objetivo de alto nível vago, o framework guia o praticante através de um protocolo estruturado de elicitação:

• Decomposição: O sistema divide um objetivo de alto nível $G$ em um conjunto de subobjetos atômicos e independentemente avaliáveis $S = \{s_1, ..., s_k\}$.
• Restrições: A decomposição impõe atomicidade (cada subobjetivo é uma única capacidade) e disjunção (os subobjetivos não se sobrepõem).
• Processo: Um loop iterativo de perguntas de esclarecimento e respostas do praticante garante que os subobjetivos mapeiem capacidades específicas do modelo (por exemplo, "expertise em cardiologia" vs. "raciocínio clínico geral").

Fase 2: Avaliação de Cobertura

• Pontuação de Alinhamento: Um avaliador baseado em LLM ($f_{eval}$) pontua cada amostra de treinamento $(x_i, y_i)$ contra cada subobjetivo $s$.
• Rubrica: O avaliador usa um prompt de rubrica ancorada (escala de 0,0 a 1,0) para produzir uma pontuação quantitativa de alinhamento e uma explicação estruturada em linguagem natural ($r_i$) que justifica a pontuação.
• Agregação: O sistema calcula a pontuação média de alinhamento $\bar{A}(s)$ para cada subobjetivo através do conjunto de dados.

Fase 3: Análise de Lacunas

• Identificação: Subobjetivos com pontuações médias baixas ($\bar{A}(s) < \tau$) são sinalizados como lacunas de capacidade.
• Síntese: O sistema agrega as explicações estruturadas das amostras com pontuação baixa para identificar capacidades ausentes recorrentes (por exemplo, "falta de avisos sobre interações medicamentosas").

Fase 4: Recomendação e Remediação

• Feedback Acionável: O sistema fornece sugestões específicas de curadoria (por exemplo, "adicionar exemplos específicos de cardiologia").
• Geração de Dados Sintéticos: Emprega um pipeline Gerador-Discriminador para criar amostras sintéticas condicionadas ao objetivo. O gerador cria dados direcionados às lacunas identificadas, e o discriminador as filtra com base no alinhamento com o subobjetivo específico.

3. Contribuições Principais

1. Decomposição Estruturada de Objetivos: Uma metodologia fundamentada para dividir objetivos complexos em subobjetivos atômicos e disjuntos por meio de um protocolo fixo de elicitação.
2. Avaliação de Alinhamento Baseada em LLM: Um framework de pontuação que produz tanto pontuações quantitativas quanto explicações qualitativas sobre por que uma amostra falha em uma capacidade específica.
3. Validação Adversarial: Um protocolo de corrupção controlada (ablação de dados) que valida o mecanismo de detecção removendo seletivamente conteúdo e verificando se apenas a pontuação do subobjetivo alvo cai significativamente.
4. Validação Empírica Cross-Domínio: Eficácia demonstrada em QA Médica, Sumarização Jurídica e Geração de Código.
5. Utilidade a Montante: Melhoria comprovada nos resultados de Ajuste Fino com Reforço (RFT) usando dados filtrados e sintéticos.
6. Pipeline Prático: Um fluxo de trabalho ponta a ponta que fornece recomendações específicas e acionáveis para fechar lacunas de dados.

4. Resultados Experimentais

Validação 1: Corrupção Controlada (Validade da Detecção)

Os autores simularam lacunas de capacidade removendo tipos específicos de conteúdo dos conjuntos de dados (por exemplo, removendo termos "cardíacos" de QA médica).

• Separação Alvo vs. Não-Alvo: Quando o conteúdo que suporta um subobjetivo específico foi removido, a pontuação de alinhamento desse subobjetivo degradou-se em média 25,6%, enquanto os subobjetivos não-alvo degradaram-se apenas 2,1%.
• Significância Estatística: A separação é estatisticamente significativa ($p < 0,001$) com um tamanho de efeito grande (Cohen's $d = 1,24$).
• Específicos de Domínio:
  • Jurídico: Remover conteúdo financeiro causou uma queda de 30,75% nas pontuações de "Preservação Monetária".
  • Médico: Remover conteúdo de cardiologia causou uma queda de 26,28% nas pontuações de "Expertise em Cardiologia".
  • Código: Remover referências a bibliotecas de ML causou uma queda de 15,53% nas pontuações de "Bibliotecas de ML".

Validação 2: Utilidade a Montante (Experimentos RFT)

O framework foi testado em uma tarefa de Sumarização Financeira usando Qwen-3-14B e GRPO (Otimização de Política Relativa em Grupo).

• Linha de Base: Dados não filtrados alcançaram uma recompensa de juiz LLM de 3,77.
• GOALCOVER Filtrado: Usar apenas dados alinhados com subobjetivos melhorou a pontuação para 4,12 (apesar de usar menos amostras).
• Dados Sintéticos: Dados sintéticos condicionados ao objetivo alcançaram 4,02 sozinhos.
• Melhor Resultado: Combinar dados reais filtrados com dados sintéticos condicionados ao objetivo alcançou a pontuação mais alta de 4,20.
• Consistência de Subobjetivos: As melhorias foram consistentes através de 10 subobjetivos diferentes de distribuição de entrada (por exemplo, documentos longos, entradas ruidosas, tipos específicos de políticas), sem regressões observadas.

5. Significado e Impacto

• Proativo vs. Reativo: O GOALCOVER muda a avaliação de conjuntos de dados de uma análise pós-treinamento reativa para um diagnóstico pré-treinamento proativo, economizando recursos computacionais significativos ao prevenir execuções de ajuste fino falhas.
• Visibilidade Granular: Vai além de métricas agregadas para fornecer visibilidade ao nível de subobjetivo, permitindo que os praticantes identifiquem exatamente quais capacidades estão faltando (por exemplo, "O modelo conhece a lei, mas não o dinheiro").
• Otimização em Loop Fechado: Ao vincular a detecção de lacunas diretamente à geração de dados sintéticos, o framework oferece uma solução completa não apenas para encontrar, mas também para corrigir deficiências de dados.
• Confiabilidade: Os experimentos de corrupção controlada fornecem fortes evidências de que os avaliadores baseados em LLM estão detectando dependências reais de capacidade e não ruído aleatório.

Em conclusão, o GOALCOVER fornece um framework robusto e interativo para garantir que os conjuntos de dados de ajuste fino estejam alinhados com objetivos específicos de domínio de alto risco, melhorando significativamente a confiabilidade e a segurança do modelo antes da implantação.