Optimsyn: Influence-Guided Rubrics Optimization for Synthetic Data Generation

Título: OptimSyn: Otimização de Rubricas Guiada por Influência para Geração de Dados Sintéticos

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) dependem fortemente de dados de ajuste fino supervisionado (SFT) de alta qualidade para adquirir capacidades de resolução de problemas. No entanto, em domínios intensivos em conhecimento (como humanidades, ciências sociais, medicina, direito e finanças), a obtenção de dados reais de alta qualidade é extremamente difícil devido a:

• Custo e Escassez: A curadoria por especialistas é cara e limitada.
• Privacidade: Restrições rigorosas impedem o uso de dados reais.
• Consistência: Manter a consistência de rótulos em larga escala é desafiador.

A geração de dados sintéticos surge como solução, mas os métodos atuais enfrentam duas limitações fundamentais:

1. Baixa Transferibilidade: As "rubricas" (regras ou prompts para guiar a geração) são projetadas manualmente por especialistas e são altamente específicas de um domínio, falhando ao serem aplicadas em outros.
2. Otimização Heurística Frágil: O ciclo atual de "criar rubrica → sintetizar → treinar → inspecionar → ajustar" depende de intuição humana e não fornece feedback quantitativo confiável sobre como uma rubrica específica contribui para o desempenho final do modelo.

2. Metodologia: O Framework OptimSyn

O OptimSyn propõe um framework de otimização baseado em reforço (RL) que substitui a engenharia de rubricas manual por um processo guiado pelo feedback do modelo-alvo, utilizando funções de influência (influence functions).

Componentes Principais:

• Estimativa de Influência Otimizador-Consciente:

  • Em vez de confiar em similaridade de embeddings (que pode não correlacionar com utilidade de treinamento), o método utiliza estimativas de influência baseadas em gradientes.
  • Calcula-se quanto uma amostra sintética específica (par Pergunta-Resposta) contribui para a redução da função de perda em um conjunto de validação, utilizando a mesma dinâmica de otimização (Adam) usada no ajuste fino.
  • A métrica de influência ($IF_{Adam}$) é derivada de produtos internos de gradientes entre a amostra candidata e o conjunto de validação, adaptada para otimizadores Adam.

• Ciclo de Aprendizado por Reforço (RL):

  • Agente (Prompter): Um modelo de linguagem (policy) que recebe um documento semente e gera uma rubrica específica para aquele documento e tarefa.
  • Gerador: Um modelo "professor" (ex: Qwen-235B) que usa a rubrica e o documento semente para sintetizar um par Pergunta-Resposta (QA).
  • Recompensa: A recompensa é composta por:
    1. Verificações de validade leves (formatação, segurança, não trivialidade).
    2. O Score de Influência calculado sobre o par QA gerado em relação ao modelo-alvo.
  • Otimização: O Prompter é atualizado usando o algoritmo GRPO (Group Relative Policy Optimization) para maximizar a recompensa esperada, aprendendo a gerar rubricas que produzem dados com alta influência positiva no modelo-alvo.

• Fluxo de Trabalho:

  1. Inicialização com textos de semente (documentos reais).
  2. O Prompter gera múltiplas rubricas candidatas.
  3. O Gerador produz pares QA baseados nessas rubricas.
  4. O Modelo-Alvo (ou uma versão warm-up dele) calcula o score de influência.
  5. O Prompter é atualizado via RL para favorecer rubricas que geram dados com alto score de influência.

3. Contribuições Chave

1. Estimativa de Influência Otimizador-Consciente: Adaptação de estimadores clássicos de influência para pipelines de dados sintéticos modernos, criando um estimador prático e alinhado com o otimizador (Adam) para quantificar a utilidade de treinamento de cada amostra.
2. Transição de Heurísticas para Supervisão Baseada em Modelo: Substituição da engenharia manual de rubricas por um objetivo de impacto no modelo. O gerador de rubricas é treinado para maximizar o benefício downstream estimado, resultando em dados sintéticos mais eficazes.
3. Generalização e Eficiência: O framework demonstra ganhos consistentes através de diferentes domínios (Humanidades/Sociais e Saúde), famílias de modelos-alvo (Qwen, Llama) e geradores de dados, sem necessidade de ajuste específico para cada tarefa.

4. Resultados Experimentais

Os autores avaliaram o método em dois domínios intensivos em conhecimento: Humanidades e Ciências Sociais (HSS) e Medicina/Saúde.

• Desempenho Superior: O OptimSyn superou consistentemente modelos base ajustados com corpora SFT abertos amplamente utilizados (como OpenHermes, WildChat, ChatDoctor) e até mesmo modelos instruídos (Instruct) de grande porte.
  • No domínio HSS, o modelo alcançou ganhos relativos de +27,2% na tarefa HLE (Humanity's Last Exam).
  • No domínio Médico, superou baselines em benchmarks como HealthBench e HLE, rivalizando com modelos de "raciocínio" (thinking models) em métricas de raciocínio.
• Generalização: O método funcionou bem ao trocar o modelo-alvo (Qwen-8B para Llama-3-8B ou variantes Qwen de 4B a 14B) e o gerador de dados (Qwen-235B, GPT-4.1, Gemini-2.5-Pro), demonstrando robustez.
• Correlação com Precisão: Foi observada uma forte correlação positiva entre o score de influência agregado de um subconjunto de dados sintéticos e a precisão final do modelo após o ajuste fino, validando o score de influência como um proxy confiável para qualidade de dados.
• Análise de Rubricas: As rubricas aprendidas pelo RL tornaram-se mais específicas, estruturadas e focadas em atributos de qualidade (ex: "densidade de informação", "raciocínio lógico") em comparação com instruções genéricas de métodos heurísticos.

5. Significado e Impacto

O trabalho do OptimSyn representa um avanço significativo na geração de dados sintéticos para LLMs:

• Mudança de Paradigma: Move a geração de dados de um processo baseado em intuição humana e regras estáticas para um processo de otimização aprendida guiada pelo sinal de treinamento do próprio modelo.
• Solução para Domínios de Alto Risco: Oferece uma via viável para criar dados de treinamento de alta qualidade em áreas onde dados reais são escassos ou privados (medicina, direito), sem depender de curadoria manual massiva.
• Eficiência de Dados: Demonstra que a qualidade e a utilidade de treinamento (medida pela influência) são mais importantes do que apenas a quantidade de dados ou a similaridade semântica superficial.
• Portabilidade: O framework é projetado para ser portátil, permitindo que organizações adaptem a geração de dados sintéticos a novos domínios e modelos-alvo sem a necessidade de especialistas em engenharia de prompts para cada nova tarefa.

Em resumo, o OptimSyn fecha o ciclo entre síntese de dados e treinamento, utilizando a influência no gradiente como uma bússola para orientar a geração de dados que realmente melhoram o desempenho do modelo.