QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

Título: QAQ: Coerência Semântica Bidirecional para Seleção de Instruções de Código Sintético de Alta Qualidade

1. O Problema

O uso de dados sintéticos tornou-se essencial para o treinamento de modelos de geração de código. No entanto, métodos de síntese "sem sementes" (seedless), que geram pares instrução-resposta diretamente a partir de LLMs alinhados, introduzem ruído significativo e alucinações difíceis de detectar.

As métricas atuais de seleção de dados, como a Dificuldade de Seguimento de Instrução (IFD), avaliam a qualidade na direção A|Q (probabilidade de gerar a resposta dada a pergunta). O artigo identifica duas falhas críticas nos dados sintéticos que essas métricas não capturam bem:

1. Alinhamento Semântico Roto: Perguntas sem sentido (ex: "Hi!") ou com terminologia fabricada geram respostas incoerentes ou que apenas repetem termos sem sentido.
2. Padrões de "Atalho" (Shortcut Patterns): Respostas que apenas parafraseiam ou repetem a pergunta, criando uma correlação superficial alta, mas sem valor de aprendizado real.

O problema central é que métricas unidirecionais (focadas apenas na geração da resposta) não conseguem distinguir entre complexidade intrínseca da tarefa e defeitos gerados pelo modelo.

2. Metodologia: O Framework QAQ

Os autores propõem o QAQ (Query, Answer-Query), um novo framework de seleção de dados baseado na Coerência Semântica Bidirecional.

A. Informação Mútua Reversa (RMI)

Em vez de medir apenas o quão difícil é gerar a resposta ($PPL(A|Q)$), o QAQ mede o quão bem a resposta explica a pergunta ($PPL(Q|A)$).

• Definição: A Informação Mútua Reversa (RMI) é calculada como:
  $$RMI(Q, A) = \log PPL(Q) - \log PPL(Q|A)$$
  Onde $PPL(Q)$ é a perplexidade da pergunta isolada e $PPL(Q|A)$ é a perplexidade da pergunta condicionada à resposta.
• Interpretação:
  • RMI Baixo: Indica desalinhamento semântico (a resposta não ajuda a prever a pergunta).
  • RMI Excessivamente Alto: Indica padrões defeituosos, como parafraseio trivial ou repetição de palavras-chave (a resposta torna a pergunta trivialmente previsível sem adicionar valor).
  • Faixa Ideal ("Sweet Spot"): Valores moderados indicam que a resposta esclarece a pergunta sem ser apenas uma repetição.

B. RMI Estratificado (Stratified RMI)

Como a complexidade da pergunta afeta diretamente a RMI (perguntas simples têm RMI naturalmente menor), os autores propõem uma estratificação:

1. O conjunto de dados é dividido em 10 "bins" (decis) baseados na complexidade da pergunta ($PPL(Q)$).
2. A classificação (ranking) da RMI é calculada independentemente dentro de cada bin.
3. Isso garante que perguntas simples, mas válidas, não sejam filtradas erroneamente apenas por terem uma RMI global mais baixa.

C. Desacordo de Modelos (Model Disagreement)

O método utiliza dois modelos com capacidades diferentes: um modelo forte ($M_s$) e um modelo fraco ($M_w$).

• Calcula-se o ranking de RMI estratificado para ambos.
• Define-se um sinal de desacordo: $Diff = r_s - r_w$.
• Hipótese: Amostras onde o modelo forte atribui alta qualidade (alto RMI) e o modelo fraco atribui baixa qualidade (baixo RMI) representam um "Gap Cognitivo".
  • O modelo forte reconhece a validade e a complexidade semântica.
  • O modelo fraco encontra dificuldade, indicando que o dado é desafiador e, portanto, valioso para o aprendizado.
• Seleção Final: Seleciona-se as amostras com alto valor de $Diff$ (aproximadamente os 25% superiores), filtrando tanto os defeitos (reconhecidos por ambos) quanto os dados fáceis demais.

3. Contribuições Principais

1. Inversão de Perspectiva: Propõe medir a qualidade dos dados na direção Q|A (explicatividade da resposta), complementando as métricas tradicionais de A|Q.
2. Identificação de Defeitos Bidirecionais: Demonstra empiricamente que tanto extremos baixos (desalinhamento) quanto extremos altos (padrões de atalho/parafraseio) na distribuição de RMI indicam dados ruins.
3. Sinal de Desacordo: Introduz o uso do desacordo entre modelos fortes e fracos como um sinal de seleção para capturar amostras com alto "gap cognitivo", que são mais eficazes para treinamento do que amostras onde ambos os modelos concordam.
4. Eficiência Computacional: Demonstra que selecionar apenas 25% dos dados usando o método QAQ atinge desempenho comparável ao treinamento com 100% dos dados.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados WarriorCoder (310k amostras sintéticas), ajustando o modelo DeepSeek-Coder-6.7B-Base.

• Desempenho: A seleção de 25% dos dados via RMI Estratificado (faixa 50-75%) alcançou desempenho comparável ao treinamento com dados completos em benchmarks como HumanEval+ e MBPP+.
• Comparação com Baselines: O método QAQ superou consistentemente métodos existentes como:
  • IFD (seleção baseada em dificuldade de geração).
  • Seleção Aleatória.
  • SCAR (consistência de estilo).
  • RDS+ (seleção baseada em representação).
• Análise de Extremos:
  • Amostras com RMI muito alto (top 25%) tiveram desempenho inferior, confirmando a presença de padrões de defeito (ex: respostas que apenas repetem termos nonsense da pergunta).
  • Amostras com RMI muito baixo (bottom 25%) também falharam, confirmando desalinhamento semântico.
• Validação do Desacordo: A estratégia baseada em $Diff$ (modelo forte vs. fraco) superou a estratégia baseada em consenso ($Sum$), provando que o "gap cognitivo" identifica um subconjunto único e valioso de dados (apenas 13,85% de sobreposição com métodos de consenso).

5. Significado e Conclusão

O trabalho destaca a importância da coerência semântica bidirecional na curadoria de dados sintéticos. Ao focar em como a resposta explica a pergunta, e não apenas na dificuldade de gerar a resposta, o QAQ oferece um caminho escalável para reduzir custos computacionais (treinando com menos dados) sem sacrificar a capacidade do modelo.

A descoberta de que o desacordo entre modelos pode ser usado para identificar dados "validos mas desafiadores" abre novas direções para a seleção de dados, sugerindo que a complexidade do aprendizado reside justamente nas amostras que modelos mais simples não conseguem capturar, mas que modelos avançados reconhecem como corretas.

Limitações mencionadas: O estudo foi realizado apenas em um dataset de código (WarriorCoder) e a sensibilidade do sinal de desacordo depende da escolha específica dos pares de modelos forte/fraco.