Resumo Técnico: CDR-Bench

Declaração do Problema

O refinamento de dados é um componente crítico nos pipelines modernos de Grandes Modelos de Linguagem (LLMs), transformando textos brutos ruidosos em dados limpos e prontos para tarefas, abrangendo desde a construção de corpora de pré-treinamento até RAG (Geração Aumentada por Recuperação) e implantações de preservação de privacidade. Embora os pipelines tradicionais dependam de regras heurísticas e scripts criados manualmente, o surgimento dos LLMs introduziu o potencial para um refinamento flexível, orientado por linguagem natural.

No entanto, existe uma lacuna significativa em avaliar se os LLMs conseguem executar fielmente essas tarefas de refinamento. O refinamento de dados no mundo real raramente é uma operação única e isolada; envolve pipelines compositivos e sensíveis à ordem, onde múltiplos operadores (mapeadores e filtros) são aplicados sequencialmente a um estado de texto em evolução. Os benchmarks existentes focam ou em edição de texto isolada (ignorando a composição) ou confundem o processamento de texto com geração de código e execução de ferramentas (obscurecendo a capacidade procedural intrínseca do modelo). Consequentemente, permanece incerto se os LLMs podem executar diretamente e fielmente receitas de refinamento complexas e de múltiplas etapas, particularmente quando a ordem das operações dita o resultado final.

Metodologia: CDR-Bench

Para abordar essa lacuna, os autores introduzem o CDR-Bench, um benchmark abrangente projetado para avaliar a execução fiel de receitas de refinamento de dados compositivas e sensíveis à ordem.

Construção do Benchmark

O CDR-Bench compreende 3.462 tarefas de alta qualidade abrangendo quatro domínios do mundo real:

1. Refinamento Web (WR): Limpeza de texto web coletado (ex: remoção de HTML, normalização de espaços em branco).
2. Refinamento LaTeX (LR): Processamento de documentos científicos (ex: expansão de macros, remoção de comentários).
3. Preparação para RAG (RP): Preparação de texto para recuperação (ex: remoção de sentenças repetidas, correção de Unicode).
4. Redação de Privacidade (PR): Remoção de informações de identificação pessoal (PII), como e-mails, IPs e segredos.

O benchmark utiliza 29 operadores distintos (mapeadores para transformação e filtros para decisões de MANTER/DESCARTAR) organizados em 63 templates de receita. O pipeline de construção envolve:

• Coleta de Dados e Ativação: Obtenção de corpora heterogêneos e identificação de registros onde operadores específicos produzem mudanças não triviais.
• Mineração de Receitas: Mineração de padrões frequentes de coocorrência de operadores para criar famílias de receitas realistas.
• Materialização de Trilhas: Criação de três trilhas de avaliação distintas:
  • Atômica: Execução de operador único (baseline).
  • Agnóstica à Ordem (Agnostic-M): Receitas de múltiplas etapas onde a ordem não afeta o resultado.
  • Sensível à Ordem: Receitas onde a ordem de execução altera fundamentalmente o resultado. Isso inclui Order-M (permutação de ordens de mapeadores) e Order-F (inserção de filtros nas posições Pré, Meio ou Pós em relação aos mapeadores).
• Referências Determinísticas: Todas as tarefas são avaliadas contra saídas de referência geradas por execução de operador determinística, evitando a dependência de paradigmas de "LLM-como-juiz".

Métricas de Avaliação

Métricas padrão como correspondência exata ou distância de edição são insuficientes para esta tarefa. Os autores propõem três métricas específicas:

1. Sucesso da Receita (RS): Mede a correspondência exata entre a saída do modelo e o texto de referência normalizado, incluindo a decisão correta de MANTER/DESCARTAR.
2. Sucesso Consistente com a Ordem (OCS): Avalia grupos sensíveis à ordem, exigindo que o modelo resolva corretamente cada variante dentro de um grupo (ex: todas as permutações de uma receita) simultaneamente.
3. Ganho de Refinamento (RG): Captura o progresso parcial medindo a redução na distância de edição em direção à referência, mesmo que a saída exata não seja alcançada.

Resultados Principais

Experimentos foram conduzidos em mais de 10 LLMs de última geração (incluindo GPT-5.4, Claude Opus 4.5/4.6, Qwen3.6, DeepSeek-V4 e Llama-4) sob modos de não-pensamento.

1. Degradação do Atômico para a Receita

Os modelos exibem uma queda acentuada de desempenho ao passar de configurações atômicas para compositivas.

• O GPT-5.4 cai de 30,30% de RS em Atomic-M para 22,74% em Agnostic-M, e colapsa ainda mais para 13,99% em Order-M.
• Tendências semelhantes são observadas em todos os modelos, indicando que a composição procedural é um gargalo importante, independente do tamanho ou arquitetura do modelo.

2. Sensibilidade à Ordem e Fidelidade

Configurações sensíveis à ordem expõem um modo de falha crítico onde os modelos produzem saídas que parecem plausíveis, mas violam a ordem de execução pretendida.

• O Sucesso Consistente com a Ordem (OCS) é significativamente menor do que o Sucesso da Receita individual. Para o GPT-5.4, enquanto o RS@3 em Order-M é 13,99%, o OCS@3 (resolver todas as permutações corretamente) é de apenas 4,90%.
• Filtragem Adiada: As decisões de filtragem degradam drasticamente quando aplicadas após transformações. A taxa de sucesso do GPT-5.4 em posicionamento de filtro cai de 62,04% (Pre-filter) para 25,03% (Mid) e 14,97% (Post).

3. Impacto de Estratégias de Prompting

• Estratégias Few-Shot e Plan-First oferecem melhorias marginais ou inconsistentes.
• O prompting Consciente do Estado (identificação explícita de estados intermediários de texto) produz os ganhos mais consistentes, melhorando o OCS de Order-F em até 9 pontos percentuais para alguns modelos. No entanto, o desempenho absoluto permanece baixo, sugerindo que a engenharia de prompt sozinha não pode resolver a limitação fundamental.
• Modo de Pensamento (Thinking Mode): Habilitar modos de pensamento/raciocínio melhora substancialmente o desempenho, particularmente em tarefas Order-F (ex: +19,6 pp para Qwen3.6-35B-A3B), destacando o benefício do raciocínio de múltiplas etapas explícito para a avaliação de filtros.

4. Validação Semântica no Mundo Real

Para garantir que esses achados não sejam artefatos de operadores baseados em regras, os autores avaliaram quatro domínios semânticos (redação de PII, processamento de alucinação, etiquetagem de segurança, pontuação de rubrica) com referências anotadas por humanos.

• O gap átomo-para-composição persiste, com média de 28,0 pontos percentuais entre os domínios.
• A severidade do gap varia conforme a estrutura da tarefa: Pontuação de rubrica mostra a maior degradação (até 61,1 pp), enquanto o processamento de alucinação mostra um gap menor porque as sub-tarefas formam uma hierarquia de grosso para fino, onde as etapas mais finas já são o gargalo.

Significância e Alegações

O artigo afirma que o CDR-Bench revela uma limitação fundamental nos LLMs atuais: a fidelidade procedural.

• Fidelidade Procedural: Os modelos atuais carecem da capacidade de executar confiavelmente uma sequência latente de operações na ordem correta. Eles frequentemente geram saídas superficialmente plausíveis enquanto violam silenciosamente as restrições de execução.
• Além da Edição de Superfície: O progresso no refinamento de dados exige uma mudança da edição de texto de nível superficial para uma verdadeira fidelidade procedural.
• Utilidade do Benchmark: O CDR-Bench fornece um ambiente reprodutível para medir essa capacidade específica, isolando-a da geração de código e do uso de ferramentas.
• Generalização: O gargalo compositivo não se limita a operadores determinísticos baseados em regras, mas se estende a tarefas de raciocínio semântico de alto nível, sugerindo uma limitação estrutural na forma como os LLMs lidam com fluxos de trabalho de múltiplas etapas e dependentes de estado.

Os autores concluem que, embora os LLMs mostrem promessa em operações individuais, sua confiabilidade em pipelines complexos e compositivos de refinamento de dados permanece insuficiente para implantação sem avanços significativos em arquitetura ou treinamento focados em rastreamento de estado e execução procedural.