Resumo Técnico: Os LLMs Podem Limpar Sua Bagunça? Um Levantamento da Preparação de Dados Pronta para Aplicação com LLMs

1. Declaração do Problema

A preparação de dados continua sendo um gargalo crítico em aplicações do mundo real centradas em dados, como inteligência de negócios (BI), treinamento de aprendizado de máquina (ML) e compartilhamento de dados. Apesar de seu papel fundamental, os métodos tradicionais lutam contra o crescente volume e heterogeneidade dos dados. O artigo identifica três fontes primárias de ineficiência de dados:

1. Problemas de Consistência e Qualidade: Formatos não padronizados, ruído e incompletude.
2. Barreiras de Isolamento e Integração: Sistemas díspares, ambiguidade de entidades e conflitos de esquema.
3. Limitações Semânticas e de Contexto: Metadados ausentes e dados não rotulados.

As abordagens tradicionais dependem fortemente de regras estáticas, intervenções manuais ou modelos de escopo estreito, que sofrem de quatro limitações principais:

• Alto Esforço Manual: A dependência de regras fixas e configurações específicas de domínio (ex: expressões regulares) exige grande especialização e manutenção.
• Consciência Semântica Limitada: Sistemas baseados em regras carecem da capacidade de resolver ambiguidades semânticas (sinônimos, abreviações) ou capturar a intenção do usuário sem conhecimento de senso comum.
• Generalização Pobre: Modelos especializados frequentemente falham quando aplicados a dados fora da distribuição ou diferentes modalidades (ex: texto vs. tabelar).
• Dependência de Dados Rotulados: Abordagens de modelos pequenos exigem exemplos rotulados de alta qualidade e caros, e têm dificuldade em integrar contextos diversos.

2. Metodologia e Taxonomia

O artigo apresenta uma revisão sistemática da preparação de dados potencializada por LLM, categorizando o campo em três tarefas principais: Limpeza de Dados, Integração de Dados e Enriquecimento de Dados. Para cada tarefa, os autores analisam técnicas representativas baseadas em suas metodologias subjacentes, variando de abordagens baseadas em prompts a fluxos de trabalho de agentes.

A. Limpeza de Dados

Esta tarefa visa transformar dados corrompidos ou de baixa qualidade em uma forma confiável. O levantamento identifica quatro categorias metodológicas:

1. Ponta a Ponta Baseada em Prompt: Usa prompts estruturados (Guiados por Instrução, Enriquecidos por Raciocínio ou Prompting em Lote) para guiar os LLMs na detecção e correção de erros diretamente.
2. Orientada à Síntese de Funções: Instrui os LLMs a gerar código executável (ex: funções Python) ou dependências funcionais ontológicas (OFDs) para realizar padronização e reparo de erros.
3. Ajuste Fino Adaptativo à Tarefa (Task-Adaptive Fine-Tuning): Realiza o ajuste fino de LLMs em conjuntos de dados sintéticos aumentados com ruído ou dados enriquecidos com contexto para aprender padrões de erro específicos.
4. Híbrido LLM-ML: Combina LLMs com modelos de aprendizado de máquina leves. Os LLMs atuam como professores para gerar pseudo-rótulos ou induzir estruturas interpretáveis (ex: árvores de decisão) que guiam detectores de ML eficientes.

B. Integração de Dados

Esta tarefa foca no alinhamento de elementos entre diversos conjuntos de dados, especificamente Correspondência de Entidades (Entity Matching) e Correspondência de Esquema (Schema Matching).

1. Correspondência de Entidades:
   • Baseada em Prompt: Usa exemplos de contexto, regras lógicas e agrupamento em lote para combinar registros.
   • Adaptativa à Tarefa: Realiza o ajuste fino de modelos usando traços de raciocínio (destilação) ou estratégias centradas em dados (mineração de negativos difíceis).
   • Colaboração Multi-Modelo: Coordena múltiplos modelos (ex: um LLM de tamanho médio para classificação e um LLamente mais forte para refinamento) para equilibrar custo e precisão.
2. Correspondência de Esquema:
   • Baseada em Prompt: Emprega especificação de persona e raciocínio de Cadeia de Pensamento (CoT) para mapear colunas.
   • Enriquecida por Recuperação (Retrieval-Enriched):* Aumenta os prompts com contexto de grafos de conhecimento externos ou recuperação vetorial para resolver ambiguidades semânticas.
   • Otimizada por Modelo: Utiliza codificadores de tabelas especializados (ex: TableGPT2) para capturar semântica estrutural.
   • Guiada por Agentes: Usa agentes para orquestrar pipelines, chamando ferramentas para recuperação, correspondência e verificação.

C. Enriquecimento de Dados

Esta tarefa aumenta os conjuntos de dados com insights semânticos, cobrindo Anotação de Dados e Perfilamento de Dados.

1. Anotação de Dados:
   • Baseada em Prompt: Usa autorrefinamento iterativo e raciocínio CoT para atribuir rótulos.
   • Assistida por RAG: Recupera exemplos relevantes ou triplas de grafos de conhecimento para fundamentar as anotações.
   • Híbrida: Destila o conhecimento de LLMs para modelos menores para uma anotação escalável e de baixo custo.
2. Perfilamento de Dados:
   • Baseada em Prompt: Gera metadados, resumos e estruturas hierárquicas usando prompts restritos.
   • Assistida por RAG: Recupera evidências externas (ex: tabelas relacionadas, documentação) para gerar perfis baseados em evidências.

3. Principais Contribuições

O artigo se distingue de levantamentos existentes através de quatro contribuições principais:

1. Escopo de Tarefa Holístico: Diferente de trabalhos anteriores limitados a tarefas ou modalidades específicas, este levantamento cobre de forma abrangente limpeza, integração e enriquecimento tanto para dados tabulares quanto textuais.
2. Taxonomia Sistemática: Propõe uma taxonomia unificada que organiza os métodos por técnicas subjacentes (Prompting, RAG, Fine-tuning, Agentes) em vez de categorias genéricas.
3. Análise de Mudança de Paradigma: Traça explicitamente a evolução de sistemas baseados em regras para frameworks de agentes de LLM, resumindo as vantagens (raciocínio semântico, automação) e limitações (custo, alucinações) dessa mudança.
4. Desafios Emergentes e Roteiro: Esboça direções futuras focadas em sistemas de dados com LLM escaláveis, designs principísticos para fluxos de trabalho de agentes confiáveis e protocolos de avaliação robustos.

4. Resultados e Observações

O levantamento sintetiza descobertas de centenas de trabalhos recentes, destacando várias tendências metodológicas:

• Mudança para Métodos Híbridos: Trabalhos recentes vão além da inferência exclusiva de LLM em direção a abordagens híbridas onde os LLMs geram programas ou transferem o raciocínio para modelos menores para reduzir custos.
• Redução de Ênfase em Ajuste Fino (Fine-Tuning): Há uma mudança do foco em manter modelos altamente ajustados e específicos para tarefas em direção à otimização da construção de inputs (ex: aumento de recuperação, serialização estruturada).
• Implementação Agêntica Limitada: Embora a orquestração baseada em agentes seja promissora para fluxos de trabalho autônomos, poucos sistemas foram totalmente estudados ou implementados na prática, indicando uma lacuna na implantação confiável.
• Diferenças Específicas de Tarefa:
  • Limpeza favorece abordagens híbridas LLM-ML para precisão.
  • Integração enfatiza a colaboração multi-modelo para escala.
  • Enriquecimento integra prompting assistido por recuperação e híbrido para compreensão semântica.

O artigo também resume conjuntos de dados representativos (ex: Chicago Food Inspection, abt-buy, DBpedia) e métricas de avaliação (Precisão, Recall, F1, MRR, ROUGE) usados em todo o campo, observando que os benchmarks atuais muitas vezes têm dificuldade em refletir a qualidade de tarefas de enriquecimento de formato aberto.

5. Significância e Direções Futuras

O artigo argumenta que os métodos potencializados por LLM estão rapidamente se tornando um paradigma transformador para a preparação de dados, impulsionados pela necessidade de dados prontos para aplicação, técnicas poderosas de LLM e infraestruturas de agentes flexíveis. No entanto, ele permanece modesto sobre o estado atual do campo, reconhecendo desafios significativos:

• Limpeza de Dados: Trabalhos futuros devem abordar a limpeza globalmente consciente (capturando restrições ao nível do conjunto de dados) e o controle de erro robusto (prevenindo a acumulação de alucinações em agentes). Frameworks hierárquicos eficientes são necessários para escalar para grandes tabelas.
• Integração de Dados: O campo requer técnicas de integração universal que dependam menos de descrições de esquema e mais de inferência de instâncias de dados, bem como integração restrita por regras que possa aplicar lógicas de negócio complexas.
• Enriquecimento de Dados: Há necessidade de sistemas interativos com humano no ciclo (human-in-the-loop), benchmarks de avaliação multi-aspecto para saídas de formato livre e geração fiel e fundamentada em evidências para garantir a confiabilidade.

Em última análise, o artigo postula que, embora os LLMs ofereçam capacidades sem precedentes em raciocínio semântico e automação, realizar seu pleno potencial exige designs principísticos que equilibrem escalabilidade, confiabilidade e avaliação rigorosa.