AgenticData: An Agentic Data Analytics System for Heterogeneous Data
O AgenticData é um sistema agêntico inovador que possibilita a análise autônoma de dados estruturados e não estruturados heterogêneos por meio de consultas em linguagem natural, ao alavancar uma estratégia de colaboração multiagente com planejamento baseado em feedback e otimização semântica para alcançar uma precisão superior aos métodos existentes.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está tentando resolver um mistério enorme, mas as pistas estão espalhadas por toda parte. Algumas pistas estão organizadas de forma nítida em livros de contabilidade com colunas claras como "Nome", "Data" e "Valor". Outras estão bagunçadas, enterradas em milhares de diários não organizados, documentos digitalizados e páginas da web onde a informação está escondida em parágrafos de texto. Durante muito tempo, os computadores foram ótimos para ler os livros de contabilidade organizados, mas terríveis em compreender os diários bagunçados. Eles geralmente precisam que um especialista humano escreva instruções complexas (código) para conectar os pontos entre os dois. Isso é como pedir a um bibliotecário para encontrar um fato específico, mas você ter que escrever todo o código do mecanismo de busca antes mesmo que ele possa começar a procurar. É lento, caro e frustrante. A grande questão neste canto da ciência da computação é: Podemos construir um sistema que atue como um detetive superinteligente, capaz de ler tanto os livros de contadia organizados quanto os diários bagunçados, entender o que queremos em linguagem natural e resolver o mistério por conta própria?
Apresentamos o AgenticData, um novo sistema projetado para ser esse detetive superinteligente. Pense nele como uma equipe de agentes especializados trabalhando juntos em uma redação movimentada. Em vez de um único cérebro gigante tentando fazer tudo ao mesmo tempo, o AgenticData utiliza uma abordagem de "múltiplos agentes". Ele possui um Perfilador de Dados que varre toda a biblioteca para entender quais livros e arquivos existem e como eles podem estar relacionados. Tem um Planejador que elabora a estratégia passo a passo para responder a uma pergunta. Tem um Validador que atua como um editor rigoroso, verificando o plano em busca de erros antes que qualquer pessoa comece a trabalhar. E tem um Gerenciador de Memória que mantém um caderno de sucessos e falhas passadas para que a equipe não cometa os mesmos erros duas vezes. Quando você faz uma pergunta em linguagem natural — como "Mostre-me o total de salários de todos os jogadores de basquete que ganharam mais de 10 campeonatos" — essa equipe trabalha em conjunto para encontrar os dados certos, elaborar a matemática e entregar a resposta a você sem que precise escrever uma única linha de código.
Os pesquisadores por trás do AgenticData descobriram que essa abordagem de equipe funciona incrivelmente bem. Em seus experimentos, eles testaram o sistema em cinco diferentes benchmarks, que são como testes padronizados para análise de dados. Os resultados mostraram que o AgenticData foi significativamente mais preciso do que os métodos atuais de ponta. Em algumas tarefas difíceis, ele melhorou a precisão em quase 30% em comparação com outros sistemas de topo. Por exemplo, em um conjunto de dados envolvendo dados bancários reais, ele foi quase 20% mais preciso que o próximo melhor concorrente. O sistema não apenas adivinhou; ele utilizou um ciclo de feedback inteligente. Se o "Validador" encontrasse um erro no plano, o sistema não simplesmente desistia. Ele armazenava o erro em sua memória, aprendia com ele e tentava um novo e melhor plano. Esse processo de "tentar, falhar, aprender e tentar novamente" permitiu que ele resolvesse quebra-cabeças complexos que deixavam outros sistemas perplexos.
Uma das descobertas mais empolgantes é como o AgenticData lida com os dados "bagunçados". Sistemas tradicionais frequentemente têm dificuldades quando não conseguem encontrar uma estrutura clara em um documento. O AgenticData, no entanto, usa seus agentes para decompor o texto não estruturado em partes úteis, encontrar conexões entre diferentes documentos e até vinculá-los a tabelas estruturadas. Em testes envolvendo artigos da Wikipédia e registros bancários do mundo real, o sistema navegou com sucesso por essas fontes de dados caóticas para fornecer respostas precisas. Os pesquisadores também mediram o custo e a velocidade do sistema. Eles descobriram que, ao otimizar como os agentes usavam seu "poder cerebral" (especificamente, quantas vezes eles invocavam grandes modelos de linguagem), o AgenticData poderia alcançar resultados de alta qualidade por cerca de metade do custo de outros métodos.
O artigo argumenta explicitamente contra a ideia de que um único modelo de IA massivo possa lidar com todas essas tarefas sozinho. Eles descobriram que confiar em apenas um modelo para planejar, executar e validar tudo frequentemente leva a erros e "alucinações" (onde a IA inventa coisas). Em vez disso, seus experimentos sugerem que dividir o trabalho em uma equipe colaborativa com funções específicas e um sistema de memória robusto é a chave para o sucesso. Eles também descartaram a ideia de que os humanos precisem escrever código para cada nova análise; seu sistema mostrou que poderia gerar autonomamente as etapas necessárias. Embora o sistema não seja perfeito — ele ainda leva alguns minutos para planejar consultas complexas e às vezes pode ter dificuldades com padrões de dados extremamente raros — os resultados sugerem que é um grande passo à frente. A equipe já implementou este sistema em ambientes do mundo real, incluindo bancos e empresas de rede elétrica, onde atualmente está ajudando profissionais a analisar dados complexos sem a necessidade de uma equipe de cientistas de dados para escrever código para cada pergunta individual.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.