Resumo Técnico: Um Framework de Recuperação Agêntica para Avaliação Autônoma de Qualidade de Dados Sensível ao Contexto

Problema

A avaliação da qualidade dos dados é um pré-requisito crítico para análises e tomadas de decisão eficazes, porém continua sendo uma tarefa desafiadora devido à natureza inerentemente dependente do contexto da qualidade dos dados. Um conjunto de dados adequado para análise exploratória pode ser insuficiente para auditoria regulatória ou monitoramento de segurança crítica. As abordagens tradicionais dependem de regras estáticas e predefinidas ou estratégias manuais, que carecem de adaptabilidade a diversos cenários de uso e dificultam a automação em escala.

Embora os avanços recentes em Modelos de Linguagem de Grande Escala (LLMs) ofereçam oportunidades para automação, as abordagens baseadas em prompts introduzem riscos significativos, incluindo:

• Falta de Fundamentação (Grounding): Os LLMs podem gerar regras plausíveis, mas factualmente incorretas ou contextualmente inconsistentes.
• Problemas de Viabilidade: A lógica de validação gerada (ex: consultas SQL) pode não ser executável, referenciar atributos inexistentes ou conter limiares (thresholds) irreais.
• Reprodutibilidade e Segurança: A autonomia sem restrições pode levar a ações inseguras ou resultados não reproduzíveis, o que é inaceitável em contextos de qualidade de dados que exigem rastreabilidade e auditabilidade.

Os sistemas existentes de Geração Aumentada de Recuperação (RAG) e IA Agêntica evoluíram, em grande parte, de forma independente, com o RAG focado em tarefas de PLN e os sistemas Agênticos carecendo de mecanismos explícitos para restringir a lógica executável gerada contra realidades operacionais.

Metodologia

O artigo propõe um framework unificado agêntico-recuperação que integra IA Agêntica, Geração Aumentada de Recuperação (RAG) e um mecanismo de execução com portão de viabilidade. O framework é projetado para interpretar descrições em linguagem natural do uso pretendido dos dados e derivar autonomamente estratégias de avaliação sensíveis ao contexto.

Arquitetura Central

O framework opera através de três camadas distintas:

1. Camada de Interação: Ingesta conjuntos de dados e descrições de uso em linguagem natural, extraindo metadados leves (esquema, tipos de dados, razões de ausência) sem expor valores brutos dos dados.
2. Camada de Raciocínio Autônomo: Orquestra um fluxo de trabalho multi-agente usando um processo estruturado e sequencial:
   • Agente Intérprete de Contexto: Infere a intenção de avaliação a partir das descrições de uso.
        * Agente Planejador de Avaliação: Estrutura um plano selecionando dimensões de qualidade e prioridades relevantes.
   • Agente Gerador de Regras: Traduz o plano em especificações de validação candidatas.
   • Agente Validador de Viabilidade: Um componente de portão (gate) crítico que avalia as regras candidatas quanto ao realismo, compatibilidade de esquema e executabilidade antes da execução.
   • Agente de Explicação: Sintetiza os resultados em relatórios interpretáveis.
3. Camada de Execução Determinística: Executa as regras aceitas usando pandas e DuckDB para garantir resultados reproduzíveis e auditáveis.

Mecanismos Principais

• Fundamentação via Recuperação (Retrieval-Augmented Grounding): Para evitar alucinações e deriva semântica, o framework recupera conhecimento contextual previamente validado (dimensões de qualidade, modelos de regras, restrições) de um grafo de conhecimento Neo4j. Os artefatos recuperados são injetados nos prompts dos agentes, restringindo o LLM a instanciar ou adaptar semânticas autoritativas existentes em vez de inventar novas regras.
• Execução com Portão de Viabilidade: Antes de qualquer regra ser executada, o Agente Validador de Viabilidade verifica:
  • Realismo de Esquema: Os atributos referenciados existem e correspondem aos tipos de dados?
  • Executabilidade Operacional: A regra pode ser expressa no ambiente de destino (SQL/Python)?
  • Coerência Lógica: Os limiares são plausíveis dada a distribuição estatística do conjunto de dados?
  • Segurança: As regras permanecem dentro de limites permitidos?
    Se uma regra falha, um feedback estruturado é retornado ao Agente Gerador de Regras para refinamento iterativo, impedindo que a lógica não executável chegue à camada de execução.
• Separação de Preocupações: O raciocínio probabilístico (agentes de LLM) é estritamente desacoplado da execução determinística. Apenas artefatos validados e estruturados são passados entre as etapas.

Principais Contribuições

1. Framework Unificado: O artigo apresenta o primeiro framework que integra planejamento sensível ao contexto, fundamentação aumentada por recuperação e orquestração agêntica especificamente para avaliação de qualidade de dados executável.
2. Portão de Validação de Viabilidade: Uma contribuição inovadora é a etapa explícita de validação de viabilidade. Diferente de trabalhos anteriores que focam na geração de regras, esta etapa atua como um loop de controle para filtrar regras irreais ou não executáveis, melhorando significativamente a confiabilidade operacional.
3. Automação Sensível ao Contexto: O sistema demonstra a capacidade de gerar estratégias e resultados de avaliação distintos para o mesmo conjunto de dados baseando-se apenas em mudanças na descrição de uso em linguagem natural (ex: mudando de "aprovação de empréstimo" para "treinamento de machine learning").
4. Auditabilidade e Rastreabilidade: Ao fundamentar as explicações exclusivamente na lógica de validação executada e separar o raciocínio da execução, o framework garante que os resultados da avaliação sejam reproduzíveis e totalmente rastreáveis.

Resultados de Avaliação

O framework foi implementado como um protótipo Python de ponta a ponta e avaliado em múltiplos cenários usando o conjunto de dados German Credit e um conjunto de dados de registros de pacientes de saúde.

• Sensibilidade ao Contexto (RQ1): O framework gerou com sucesso diferentes estratégias de avaliação para o mesmo conjunto de dados sob três cenários distintos:
  • Decisão de Negócio: Priorizou a completude de atributos financeiros; sinalizou valores ausentes como alto risco.
  • Machine Learning: Priorizou consistência e estabilidade distributiva; destacou inconsistências categóricas que afetam a interpretabilidade do modelo.
  • Auditoria Regulatória: Priorizou a integridade demográfica; resultou em uma classificação de "Pronto para Produção" para atributos demográficos.
• Viabilidade e Confiabilidade (RQ2): O Validador de Viabilidade identificou e rejeitou com sucesso uma regra logicamente sólida, mas operacionalmente irrealista ("Valor do crédito > 0"), porque o intervalo observado de dados começava em 250, tornando a verificação muito genérica. Este loop de refinamento iterativo evitou a execução de verificações redundantes ou enganosas.
• Explicabilidade (RQ3): Todos os relatórios de avaliação foram derivados estritamente de resultados executados, fornecendo clara rastreabilidade desde falhas no nível da regra até pontuações de qualidade geral.
• Estabilidade Baseada em Recuperação (RQ4): No cenário de saúde, a fundamentação aumentada por recuperação restringiu o LLM a gerar lógica de validação que aderia estritamente às semânticas de avaliação recuperadas, evitando a introdução de regras alucinadas ou dimensões não suportadas em um domínio de segurança crítica.

Significância e Alegações

O artigo alega que esta abordagem fornece uma base prática para implantar avaliação de qualidade de dados autônoma, porém controlada. Ele aborda a lacuna entre o planejamento conceitual de alto nível, sensível ao contexto, e a execução operacional confiável.

Os autores enfatizam que o framework avança o estado da arte ao:

• Ir além de regras estáticas para uma avaliação adaptativa e orientada pelo uso.
• Mitigar os riscos da autonomia de LLM através de portões de viabilidade e fundamentação por recuperação.
• Garantir que a avaliação da qualidade dos dados permaneça reproduzível e auditável ao separar estritamente a geração probabilística da execução determinística.

O trabalho não pretende resolver todos os desafios de qualidade de dados, mas oferece um mecanismo controlado para operacionalizar a consciência de contexto em pipelines automatizados, equilibrando a flexibilidade da IA agêntica com os requisitos de segurança da gestão de dados. O trabalho futuro é identificado como a extensão do framework para motores de big data (ex: Spark) e a avaliação da transferibilidade do conhecimento recuperado entre diversos domínios.