Resumo Técnico: DataSpace: Avaliando Agentes de Dados para Análise Verificável em Espaços de Trabalho Heterogêneos
1. Declaração do Problema
Agentes de dados estão emergindo como interfaces de linguagem natural para dados organizacionais, mas cenários analíticos realistas apresentam um desafio complexo: a evidência necessária para responder a uma consulta raramente está contida em uma única tabela limpa. Em vez disso, a informação está espalhada por bancos de dados relacionais, arquivos estruturados/semiestruturados (CSV, JSON), documentos longos (PDF, Markdown) e artefatos multimídia (vídeo), muitas vezes envolvendo variações translinguísticas.
Benchmarks existentes falham ao não unificar três propriedades críticas da análise de dados realista:
- Escopo do Espaço de Trabalho (Workspace Scope): Eles frequentemente isolam consultas estruturadas (ex: Spider) ou recuperação não estruturada (ex: HotpotQA), falhando em capturar tarefas que exigem a descoberta e integração de evidências através de modalidades heterogêneas dentro de um espaço de trabalho local à tarefa.
- Contrato de Saída (Output Contract): Muitos benchmarks aceitam respostas do tipo fato (factoid), relatórios abertos ou pipelines executáveis. A análise de dados do mundo real frequentemente exige um resultado tabular completo e tipado que possa ser consumido diretamente.
- Semântica de Avaliação: As avaliações atuais frequentemente dependem de juízes baseados em modelos ou falham em lidar com representações equivalentes (ex: diferentes ordens de colunas, redação de cabeçalhos ou precisão numérica) de forma determinística.
O artigo argumenta que, sem um benchmark unificado que imponha um contrato de saída tabular completo sobre espaços de trabalho heterogêneos e translinguísticos com avaliação determinística, o progresso na confiabilidade dos agentes de dados não pode ser medido com precisão.
2. Metodologia
2.1 Benchmark DataSpace
DataSpace é um benchmark composto por 410 tarefas translinguísticas e 7.439 artefatos, totalizando 15,01 GB.
- Modalidades: Os espaços de trabalho incluem CSV, JSON, SQLite, Markdown, PDF e Vídeo.
- Idiomas: As tarefas envolvem cenários translinguísticos onde a pergunta e os artefatos do espaço de trabalho podem misturar chinês e inglês.
- Formulação da Tarefa: Um agente recebe uma pergunta em linguagem natural e um espaço de trabalho local à tarefa. Ele deve descobrir fontes autonomamente, alinhar entidades/esquemas, executar computações de múltiplos passos (filtragem, junção, agregação) e retornar o resultado tabular completo solicitado como um arquivo CSV.
- Domínios: Análise financeira (fundos, ações), dados macroeconômicos e análise de saúde.
2.2 DataSpace-Builder: Estrutura de Construção
Para construir essas tarefas complexas de forma confiável, os autores propõem o DataSpace-Builder, uma estrutura fundamentada em execução que transforma instâncias de benchmarks existentes de Text-to-SQL (EHRSQL e BULL) em tarefas de espaço de trabalho heterogêneo. O processo envolve quatro estágios:
- Transformação Translinguística (CLT): Uma migração conjunta da pergunta, estado do banco de dados e SQL executável. Garante a consistência referencial ao traduzir nomes de entidades e valores, preservando identificadores e códigos. Um juiz de LLM verifica o alinhamento semântico entre a pergunta traduzida e o SQL.
- Amostragem Relacional Consciente de Restrições: Para evitar espaços de trabalho repetitivos, a estrutura amostra linhas do banco de dados de origem enquanto retém o esquema completo. Utiliza um conjunto de salvaguarda (chaves primárias/estrangeiras, predicados de consulta) para garantir a integridade relacional (ex: preservar caminhos de junção) durante a amostragem.
- Roteamento de Modalidade e Renderização de Artefatos:
- Roteamento Base: Tabelas são atribuídas a renderizadores (CSV, JSON, SQLite, Markdown, PDF) com base nas propriedades do esquema.
- Renderização de Documentos: Documentos longos (Markdown/PDF) são gerados a partir de dados tabulares usando LLMs, garantindo uma geração "fundamentada em fatos" onde células específicas são recuperáveis do texto.
- Renderização de Vídeo: Dados tabulares são convertidos em vídeos de insights de dados. Duas estratégias são usadas: Abstração de Predicado (movendo condições de filtro para a narrativa do vídeo) e Renderização de Evidência-Resposta (distribuindo células de resultado através das cenas do vídeo).
- Revisão Humana e Reparo de Tarefa: Um painel de 11 especialistas de domínio realiza revisões cegas e independentes. Eles resolvem a tarefa, verificam o padrão ouro (gold standard) e elaboram a configuração de avaliação. Desacordos disparam reparos baseados em evidências na pergunta, no espaço de trabalho ou na resposta de referência.
2.3 Avaliador Determinístico
O protocolo de avaliação é livre de modelos (model-free) e invariante ao cabeçalho:
- Alinhamento de Colunas: O avaliador encontra um mapeamento um-para-um entre as colunas previstas e as de referência, independentemente da redação ou ordem do cabeçalho.
- Normalização: Os valores são normalizados com base em tipos semânticos (texto, número, data, booleano) e regras de precisão (ex: casas decimais, convenções de porcentagem).
- Comparação de Linhas: Tarefas que exigem ordem são comparadas como sequências; outras são comparadas como multiconjuntos não ordenados.
- Pontuação: Uma tarefa é considerada correta apenas se a previsão tabular completa coincidir com a referência sob estas semânticas.
3. Principais Contribuições
- Um Benchmark de Espaço de Trabalho Heterogêneo: O DataSpace introduz 410 tarefas que exigem a síntese de arquivos estruturados, bancos de dados, documentos longos e vídeo em um único output tabular verificável.
- Uma Estrutura de Construção Fundamentada em Execução: O DataSpace-Builder transforma recursos executáveis de Text-to-SQL em tarefas multimodais complexas, garantindo a consistência dos dados através de salvaguardas de amostragem e revisão de especialistas.
- Um Avaliador Consciente de Semântica: Um protocolo determinístico que tolera representações equivalentes (reordenação de colunas, formatação), mas rejeita outputs incompletos ou errôneos, eliminando a dependhalência de juízes de LLM.
- Baselines Empíricos: O artigo estabelece baselines de desempenho para seis modelos multimodais de fronteira e cinco harnesses de agentes, identificando gargalos específicos nas capacidades atuais dos agentes.
4. Resultados Experimentais
Os autores avaliaram seis backbones multimodais (Grok 4.5, GPT-5.6 Sol, Kimi K3, MiMo-V2.5, Claude Sonnet 5, MiniMax M3) e cinco harnesses de agentes (incluindo o seu próprio DataSpace-Agent).
- Desempenho Geral: A configuração de melhor desempenho (Grok 4.5 com DataSpace-Agent) alcançou 66,34% de precisão. Isso indica que o benchmark é insaturado, visto que 76 tarefas foram perdidas por todos os seis backbones, enquanto apenas 56 tarefas foram resolvidas por todos os modelos.
- Impacto do Harness: A escolha do harness do agente impacta significativamente o desempenho. Com o backbone MiMo-V2.5 fixo, a precisão variou em 15,36 pontos percentuais entre os diferentes harnesses (variando de 30,98% a 46,34%).
- Principais Desafios:
- Integração Multimodal: Tarefas que exigem evidência multimodal reduziram consistentemente a precisão em todos os backbones entre 1,8 e 14,0 pontos em comparação com tarefas de um único modo.
- Junções (Joins): Operações de junção reduziram a precisão em 9,7 a 19,8 pontos.
- Eficiência: O GPT-5.6 Sol alcançou uma precisão próxima ao topo (64,63%) usando 74,2% menos tokens e 50,3% menos ações do que o melhor performer, o Grok 4.5.
- Análise de Falhas: Uma auditoria de 136 falhas do Grok 4.5 revelou que 52,2% dos erros originaram-se na materialização da resposta (ex: adicionar/omitir colunas ou linhas após o cálculo interno correto do resultado), em vez da descoberta ou extração de evidências. Apenas 5 dos 13 casos de "não submissão" foram falhas puras de terminação; a maioria decorreu de erros persistentes anteriores.
5. Significância e Alegações
O artigo afirma que o DataSpace estabelece um campo de teste rigoroso para o avanço de agentes de dados confiáveis. Sua principal significância reside na mudança do paradigma de avaliação de habilidades isoladas (ex: geração de SQL ou recuperação de documentos) para a resolução de espaço de trabalho ponta a ponta com um contrato de saída estrito e verificável.
Os autores concluem modestamente que, embora os modelos de fronteira atuais mostrem promessa, lacunas significativas permanecem na integração cross-modality e em junções. O benchmark destaca que a habilidade de "encontrar" dados é insuficiente; os agentes também devem materializar fielmente a estrutura exata solicitada. Os resultados sugerem que melhorar a confiabilidade dos agentes de dados requer abordar todo o pipeline, desde a descoberta de evidências heterogêneas até a serialização tabular precisa, em vez de focar apenas em capacidades de raciocínio.
O DataSpace serve como o benchmark oficial de avaliação para a competição KDD Cup 2026 Data Agents for Complex Data Analysis, fornecendo um ambiente padronizado e reprodutível para pesquisas futuras neste domínio.