Resumo Técnico: CONV-TO-BENCH

Declaração do Problema

O avanço rápido dos Modelos de Linguagem de Grande Escala (LLMs) superou a escalabilidade dos benchmarks de avaliação tradicionais. Padrões estabelecidos para geração de código e raciocínio (por exemplo, BigCodeBench, HumanEval) dependem fortemente de curadoria especializada, intensiva em mão de obra e em múltiplos estágios. Esse processo dependente de humanos cria um gargalo significativo, tornando o desenvolvimento de conjuntos de avaliação diversos e de alta fidelidade oneroso em recursos e demorado. Embora existam vastos repositórios de diálogos autênticos entre usuário e assistente (por exemplo, LMSYS-Chat-1M, WildChat), eles foram utilizados principalmente para treinamento ou análise comportamental, em vez de construção de benchmarks. O desafio reside em transformar essas interações não estruturadas e de múltiplas voltas — que contêm refinamentos iterativos e feedback implícito — em critérios de avaliação estruturados e verificáveis, sem introduzir ruído ou perder a nuance da intenção do usuário.

Metodologia

Os autores propõem o Conv-to-Bench, um framework multiestágio projetado para converter automaticamente diálogos brutos de múltiplas voltas entre usuário e assistente em conjuntos de avaliação estruturados, consistindo em instruções consolidadas e listas de verificação de requisitos binários. A metodologia opera por meio do seguinte pipeline:

1. Filtragem Específica de Domínio:

   • Agrupamento: As conversas são agrupadas usando modelagem de tópicos não supervisionada (representações vetoriais densas) e filtradas contra um léxico de palavras-chave específico de domínio para identificar clusters relevantes (por exemplo, programação).
   • Classificação: Um classificador baseado em LLM de zero-shot realiza verificação em nível de instância em conversas individuais para filtrar ruído temático, garantindo que o corpus contenha apenas interações de alto sinal e dentro do domínio.

2. Síntese de Instruções:

   • Um LLM analisa o histórico conversacional completo para sintetizar uma única instrução abrangente. Esse processo integra a solicitação inicial com todas as esclarecimentos e restrições subsequentes, reconstituindo a intenção evolutiva do usuário.
   • Um classificador binário filtra instruções sintetizadas que são semanticamente ambíguas, muito vagas ou dependentes de arquivos externos não presentes nos registros.

3. Síntese de Requisitos Orientada por Feedback:

   • Identificação de Feedback: O framework identifica mensagens específicas do usuário que constituem feedback avaliativo (Positivo ou Negativo) com base em um protocolo estrito "baseado em reação", ignorando silêncio ou continuações neutras.
   • Geração de Lista de Verificação: Atuando como um analista de Garantia de Qualidade, um LLM traduz o diálogo, a instrução sintetizada e o feedback identificado em uma lista de requisitos atômicos e testáveis formatados como perguntas binárias (Sim/Não). Cada requisito é marcado por sua origem (instrução vs. feedback) para permitir análise de ablação.

4. Pontuação e Calibração Estatística:

   • Estimativa Hierárquica: Para prevenir viés de instruções com números variados de requisitos, o framework calcula uma Pontuação em Nível de Instrução ($S_i$) pela média dos resultados binários de seus requisitos atômicos. O desempenho global ($\theta$) é a média dessas pontuações em nível de instrução.
   • Quantificação de Incerteza: Um método de Bootstrap em Cluster ($B=1.000$) é empregado para gerar intervalos de confiança de 95%, levando em conta a variância na dificuldade da tarefa e garantindo a estabilidade do benchmark.

Contribuições Principais

• Construção Automatizada de Benchmarks: A introdução de um pipeline que transforma diálogos autênticos de múltiplas voltas em conjuntos de avaliação estruturados, reduzindo a dependência de curadoria manual especializada.
• Extração Centrada em Instruções: A demonstração de que sintetizar instruções a partir de todo o histórico conversacional (e não apenas do prompt inicial) captura o escopo completo da intenção do usuário.
• Ablação de Feedback: Uma investigação rigorosa sobre se o feedback implícito do usuário (correções, confirmações) serve como um sinal de refinamento útil ou introduz ruído. O estudo isola configurações "Apenas Instruções" vs. "Completa (Instruções + Feedback)".
• Validação de Confiabilidade: Uma avaliação abrangente do framework "LLM como juiz", comparando vereditos automatizados com a verdade fundamental verificada por humanos usando Kappa de Cohen e escores F1.

Resultados

O framework foi avaliado usando 387 pares de alta qualidade (instrução, lista de verificação de requisitos) derivados de 2 milhões de diálogos brutos, focando no domínio da programação.

• Confiabilidade do Juiz: O avaliador principal (Gemini-2.5-Flash) alcançou concordância substancial com especialistas humanos ($\kappa = 0,705$) e um alto escore Macro F1 (0,852), validando o mecanismo de pontuação automatizado.
• Alinhamento com Padrões Ouro: O Conv-to-Bench demonstrou alinhamento quase perfeito com o BigCodeBench.
  • Usando a configuração Apenas Instruções, o framework alcançou uma correlação de Spearman de $\rho = 1,000$ com o BigCodeBench (Conjunto Completo) em ambos os modos "Instruct" e "Complete".
  • O Pipeline Completo (incluindo feedback) mostrou correlações ligeiramente menores ou inconsistentes em algumas configurações, sugerindo que o ruído conversacional pode degradar a integridade avaliativa.
• Comparação com Baselines: O Conv-to-Bench (Apenas Instruções) superou o benchmark Arena-Hard-Auto (Código) em estabilidade de ranking contra o BigCodeBench, alcançando correlações de Spearman mais altas ($\rho = 1,000$ vs. $\rho = 0,943$ para o Arena-Hard-Auto no Conjunto Completo).

Significado e Alegações

O artigo afirma que o Conv-to-Bench fornece um paradigma escalável e custo-efetivo para manter padrões de avaliação de alta fidelidade à medida que aplicações de IA centradas no usuário se diversificam.

• Escalabilidade: Ao aproveitar a "evolução instrucional" encontrada em registros do mundo real, o framework contorna o gargalo da curadoria manual de tarefas enquanto produz conjuntos de avaliação que se alinham com padrões autorados por especialistas.
• Robustez da Síntese de Instruções: Uma descoberta chave é que, embora interações de múltiplas voltas capturem a natureza iterativa da intenção do usuário, a extração centrada em instruções (consolidar todo o histórico em um único prompt) fornece uma base mais robusta para avaliação do que tentar incorporar sinais de feedback explícito, que frequentemente introduzem ruído.
• Validação da Avaliação Automatizada: O estudo confirma que juízes automatizados, quando devidamente calibrados e validados contra a verdade fundamental humana, podem avaliar com confiabilidade tarefas complexas de geração de código, oferecendo uma alternativa viável à verificação humana intensiva em recursos.

Os autores mantêm uma postura modesta, reconhecendo que a análise atual é limitada ao domínio de programação em inglês e que a precisão do framework permanece contingente às capacidades do juiz LLM. Trabalhos futuros são propostos para estender essa metodologia a conjuntos de dados multilíngues e diversos campos técnicos.