Resumo Técnico: ProfiliTable

Declaração do Problema

O processamento de tabelas — abrangendo limpeza, transformação, aumento e correspondência — é uma etapa fundamental, porém altamente propensa a erros, em pipelines de dados do mundo real. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado potencial na automação dessas tarefas ao gerar código executável (por exemplo, pandas ou SQL) a partir de instruções em linguagem natural, as abordagens atuais sofrem com limitações significativas. Os métodos existentes frequentemente lutam com instruções ambíguas, estruturas complexas de tarefas de múltiplos passos e a falta de feedback estruturado. Consequentemente, eles frequentemente produzem código que é sintaticamente correto, mas semanticamente falho.

Especificamente, muitos agentes existentes dependem de perfis estáticos baseados em regras ou amostragem limitada (por exemplo, inspecionar apenas algumas linhas), o que falha em capturar a gama completa de valores de dados necessários para interpretar intenções vagas do usuário (por exemplo, "padronizar a coluna de moeda"). Sem uma exploração ativa e adaptativa do conteúdo real dos dados, os agentes não conseguem construir tabelas de mapeamento apropriadas ou lidar com nuances específicas de domínio, levando a um desempenho frágil em ambientes de produção.

Metodologia: ProfiliTable

Para abordar esses desafios, os autores propõem o ProfiliTable, um framework autônomo de múltiplos agentes centrado no perfilamento dinâmico. Diferente do consumo passivo de metadados, o ProfiliTable trata o perfilamento como um processo ativo e iterativo de construção semântica que evolui por meio de interação, feedback e integração de conhecimento.

O framework opera como um pipeline de autoaperfeiçoamento em malha fechada, envolvendo vários agentes especializados:

1. Interpretador: Analisa a instrução em linguagem natural do usuário para determinar a complexidade da tarefa (passo único vs. múltiplos passos) e encaminha a solicitação de acordo.
2. Perfilador: Atua como o módulo de fundamentação semântica. Ele emprega um loop de exploração no estilo ReAct (Raciocinar + Agir) para interrogar ativamente as tabelas de entrada brutas. Em vez de depender exclusivamente de metadados de esquema, ele executa ações leves (por exemplo, amostrar valores únicos, calcular distribuições) para formular e testar hipóteses sobre a qualidade e estrutura dos dados. Isso gera um resumo de perfilamento dinâmico ($p^{(t)}$) que conecta a intenção linguística à realidade tabular.
3. Decompositor: Para tarefas de múltiplos passos, este agente divide instruções complexas em uma sequência ordenada de subtarefas atômicas, permitindo a recuperação direcionada de operadores para cada etapa.
4. Gerador: Sintetiza código executável fundamentando a intenção do usuário e o resumo atual de perfilamento em um framework de Geração Aumentada por Recuperação (RAG). Ele recupera templates de operadores curados e pré-validados de uma base de conhecimento para garantir que o código gerado dependa de primitivas confiáveis e específicas de domínio.
5. Avaliador: Executa o código gerado em um ambiente isolado (sandbox) e calcula uma pontuação específica da tarefa ($s^{(t)}$) usando lógica alinhada com a verdade fundamental (por exemplo, pontuação F1), garantindo que o código "executável" seja também "correto".
6. Resumidor: Opera em um loop no estilo ReAct sobre a tabela processada para validar o alinhamento com a intenção original. Ele formula hipóteses de verificação, executa ações de validação leves e fornece insights diagnósticos ($\tau^{(t)}$) sobre subobjetivos não atendidos.
7. Finalizador: Gerencia a terminação do loop iterativo. Ele seleciona o candidato de melhor desempenho entre todas as iterações se o limiar de sucesso não for atendido, garantindo que o fluxo de trabalho retorne o resultado mais preciso observado.

A inovação central é o Contexto Unificado de Perfilamento Dinâmico ($P^{(t)}$), que integra iterativamente o resumo de perfilamento ativo, os operadores recuperados e o histórico de feedback para orientar a geração e o refinamento subsequentes de código.

Contribuições Principais

O artigo delineia três contribuições primárias:

1. O Framework ProfiliTable: Um sistema autônomo de múltiplos agentes que unifica exploração interativa, refinamento orientado por feedback e síntese aumentada por conhecimento sob um paradigma de perfilamento dinâmico para superar a fragilidade da geração de código LLM de um único tiro.
2. Um Benchmark Abrangente: A construção de um benchmark composto por 18 tipos distintos de tarefas de processamento de tabelas, categorizados em limpeza, transformação, aumento e correspondência, projetado para refletir melhor os desafios de curadoria do mundo real do que benchmarks existentes.
3. Validação Empírica: Experimentos extensivos demonstrando que o ProfiliTable alcança desempenho de última geração (SOTA) em configurações de passo único e múltiplos passos complexos, com ganhos consistentes em correção, completude e confiabilidade de execução sobre bases de comparação robustas.

Resultados Experimentais

Os experimentos foram conduzidos utilizando GPT-4o e GPT-5.2 como modelos subjacentes, comparando o ProfiliTable com bases de comparação como MetaGPT, CAMEL, ChatDev, CleanAgent e DataGovAgent.

• Tarefas de Passo Único: O ProfiliTable alcançou uma Pontuação Média de Tarefa (ATS) de 86,82 (GPT-4o) e 89,66 (GPT-5.2), superando significativamente as bases de comparação de segundo melhor (MetaGPT com 56,21 e ChatDev2.0 com 70,02, respectivamente).
• Tarefas de Múltiplos Passos: O ProfiliTable estabeleceu um novo SOTA com pontuações ATS de 80,19 (GPT-4o) e 82,49 (GPT-5.2). Crucialmente, foi o único método a alcançar uma Taxa de Executabilidade por Tarefa (TRR) de 100% em configurações de múltiplos passos, garantindo que toda tarefa produzisse uma saída executável.
• Eficiência: Apesar da natureza iterativa do framework, o ProfiliTable demonstrou alta eficiência de custo. Ele utilizou a menor contagem média de tokens entre os melhores desempenhos (por exemplo, ~24.907 tokens para GPT-5.2 em passo único) enquanto mantinha alta precisão, traçando uma fronteira de Pareto ótima entre custo de tokens e qualidade da solução.
• Estudos de Ablação: A remoção de qualquer componente central (Perfilador, Feedback, RAG ou Decompositor) levou à degradação do desempenho. O mecanismo de Feedback foi identificado como o componente mais crítico, sendo que sua remoção causou a queda mais severa no desempenho, particularmente em cenários de múltiplos passos.

Significado e Alegações

Os autores afirmam que o ProfiliTable destaca o papel crucial do perfilamento dinâmico na tradução confiável de intenções ambíguas do usuário em transformações de tabelas robustas e conformes à governança. O artigo argumenta que o processamento confiável de tabelas requer mais do que apenas LLMs fortes; exige fluxos de trabalho estruturados e reflexivos que tratem tabelas como artefatos dinâmicos e semanticamente ricos.

Ao mudar do perfilamento estático e orientado por regras para uma exploração ativa e orientada por hipóteses, o ProfiliTable aborda a "fragilidade" dos agentes atuais. A capacidade do framework de alcançar taxas de executabilidade de 100% em cenários complexos de múltiplos passos posiciona-o como um candidato viável para implantação em produção, onde a confiabilidade da execução é tão importante quanto a correção do código. O trabalho sugere um novo paradigma de "agência orientada por perfilamento", onde sistemas iterativos, interativos e conscientes de falhas são essenciais para automatizar tarefas centradas em dados.