Resumen Técnico: Un Marco de Recuperación Agéntico para la Evaluación Autónoma de la Calidad de Datos Basada en el Contexto

Planteamiento del Problema

La evaluación de la calidad de los datos es un prerrequisito crítico para una analítica y una toma de decisiones eficaces, sin embargo, sigue siendo una tarea desafiante debido a la naturaleza inherentemente dependiente del contexto de la calidad de los datos. Un conjunto de datos adecuado para un análisis exploratorio puede ser insuficiente para una auditoría regulatoria o un monitoreo de seguridad crítica. Los enfoques tradicionales dependen de reglas estáticas predefinidas o estrategias manuales, las cuales carecen de adaptabilidad ante diversos escenarios de uso y dificultan la automatización a escala.

Si bien los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen oportunidades para la automatización, los enfoques basados en prompts introducen riesgos significivos, incluyendo:

• Falta de Fundamentación (Grounding): Los LLMs pueden generar reglas que resultan plausibles pero que son fácticamente incorrectas o contextualmente inconsistentes.
• Problemas de Viabilidad: La lógica de validación generada (por ejemplo, consultas SQL) puede no ser ejecutable, hacer referencia a atributos inexistentes o contener umbrales poco realistas.
• Reproducibilidad y Seguridad: Una autonomía sin restricciones puede conducir a acciones inseguras o resultados no reproducibles, lo cual es inaceptable en contextos de calidad de datos que requieren trazabilidad y auditabilidad.

Los sistemas de Generación Aumentada por Recuperación (RAG) y los sistemas de IA Agéntica existentes han evolucionado mayoritariamente de forma independiente, con RAG enfocado en tareas de PLN y los sistemas agénticos careciendo de mecanismos explícitos para constreñir la lógica ejecutable generada frente a las realidades operativas.

Metodología

El artículo propone un marco unificado agéntico-de recuperación que integra la IA Agéntica, la Generación Aumentada por Recuperación (RAG) y un mecanismo de ejecución con control de viabilidad. El marco está diseñado para interpretar descripciones en lenguaje natural sobre el uso previsto de los datos y derivar de forma autónoma estrategias de evaluación conscientes del contexto.

Arquitectura Central

El marco opera a través de tres capas distintas:

1. Capa de Interacción: Ingiere conjuntos de datos y descripciones de uso en lenguaje natural, extrayendo metadatos ligeros (esquema, tipos de datos, ratios de ausencia) sin exponer los valores brutos de los datos.
2. Capa de Razonamiento Autónomo: Orquesta un flujo de trabajo multi-agente utilizando un proceso estructurado y secuencial:
   • Agente Intérprete de Contexto: Infiere la intención de la evaluación a partir de las descripciones de uso.
   • Agente Planificador de Evaluación: Estructura un plan seleccionando dimensiones de calidad y prioridades relevantes.
   • Agente Generador de Reglas: Traduce el plan en especificaciones de validación candidatas.
   • Agente Validador de Viabilidad: Un componente de control crítico que evalúa las reglas candidatas para determinar su realismo, compatibilidad de esquema y ejecutabilidad antes de la ejecución.
   • Agente de Explicación: Sintetiza los resultados en informes interpretables.
3. Capa de Ejecución Determinista: Ejecuta las reglas aceptadas utilizando pandas y DuckDB para asegurar resultados reproducibles y auditables.

Mecanismos Clave

• Fundamentación Aumentada por Recuperación: Para prevenir alucinaciones y deriva semántica, el marco recupera conocimiento contextual previamente validado (dimensiones de calidad, plantillas de reglas, restricciones) de un grafo de conocimiento en Neo4j. Estos artefactos recuperados se inyectan en los prompts de los agentes, constriñendo al LLM para que instancie o adapte la semántica autorizada existente en lugar de inventar nuevas reglas.
• Ejecución con Control de Viabilidad: Antes de que se ejecute cualquier regla, el Agente Validador de Viabilidad comprueba:
  • Realismo del Esquema: ¿Existen los atributos referenciados y coinciden sus tipos de datos?
  • Ejecutabilidad Operativa: ¿Puede la regla expresarse en el entorno objetivo (SQL/Python)?
  • Coherencia Lógica: ¿Son los umbrales plausibles dada la distribución estadística del conjunto de datos?
  • Seguridad: ¿Se mantienen las reglas dentro de los límites permitidos?
    Si una regla falla, se devuelve una retroalimentación estructurada al Agente Generador de Reglas para un refinamiento iterativo, evitando que la lógica no ejecutable llegue a la capa de ejecución.
• Separación de Responsabilidades: El razonamiento probabilístico (agentes LLM) está estrictamente desacoplado de la ejecución determinista. Solo los artefactos validados y estructurados se pasan entre etapas.

Contribuciones Clave

1. Marco Unificado: El artículo presenta el primer marco que integra planificación consciente del contexto, fundamentación aumentada por recuperación y orquestación agéntica específicamente para la evaluación ejecutable de la calidad de los datos.
2. Puerta de Validación de Viabilidad: Una contribución novedosa es la etapa explícita de validación de viabilidad. A diferencia de trabajos previos que se centran en la generación de reglas, esta etapa actúa como un bucle de control para filtrar reglas poco realistas o no ejecutables, mejorando significamente la fiabilidad operativa.
3. Automatización Sensible al Contexto: El sistema demuestra la capacidad de generar distintas estrategias de evaluación y resultados para un mismo conjunto de datos basándose únicamente en cambios en la descripción de lenguaje natural del uso previsto (por ejemplo, cambiando de "aprobación de préstamos" a "entrenamiento de aprendizaje automático").
4. Auditabilidad y Trazabilidad: Al fundamentar las explicaciones exclusivamente en la lógica de validación ejecutada y separar el razonamiento de la ejecución, el marco garantiza que los resultados de la evaluación sean reproducibles y totalmente trazables.

Resultados de la Evaluación

El marco se implementó como un prototipo de Python de extremo a extremo y se evaluó en múltiples escenarios utilizando el conjunto de datos de Crédito Alemán y un conjunto de datos de registros de pacientes de salud.

• Sensibilidad al Contexto (RQ1): El marco generó con éxito diferentes estrategias de evaluación para el mismo conjunto de datos bajo tres escenarios distintos:
  • Decisión de Negocio: Priorizó la completitud de atributos financieros; marcó los valores ausentes como de alto riesgo.
  • Aprendizaje Automático (Machine Learning): Priorizó la consistencia y la estabilidad de la distribución; destacó inconsistencias categóricas que afectan la interpretabilidad del modelo.
  • Auditoría Regulatoria: Priorizó la integridad demográfica; resultó en una clasificación de "Listo para Producción" para los atributos demográficos.
• Viabilidad y Fiabilidad (RQ2): El Validador de Viabilidad identificó y rechazó con éxito una regla lógicamente sólida pero operativamente poco realista ("Monto de crédito > 0") porque el rango de datos observado comenzaba en 250, haciendo que la verificación fuera demasiado genérica. Este bucle de refinamiento iterativo evitó la ejecución de comprobaciones redundantes o engañosas.
• Explicabilidad (RQ3): Todos los informes de evaluación se derivaron estrictamente de los resultados ejecutados, proporcionando una clara trazabilidad desde los fallos a nivel de regla hasta las puntuaciones de calidad general.
• Estabilidad de la Recuperación Fundamentada (RQ4): En el escenario de salud, la fundamentación aumentada por recuperación constriñó al LLM para generar una lógica de validación que se adhiriera estrictamente a las semánticas de evaluación recuperadas, evitando la introducción de reglas alucinadas o dimensiones no soportadas en un dominio de seguridad crítica.

Significado y Reivindicaciones

El artículo afirma que este enfoque proporciona una base práctica para el despliegue de la evaluación de la calidad de los datos de forma autónoma pero controlada. Aborda la brecha entre la planificación conceptual de alto nivel, consciente del contexto, y la ejecución operativa fiable.

Los autores enfatizan que el marco hace avanzar el estado del arte al:

• Ir más allá de las reglas estáticas hacia una evaluación adaptativa e impulsada por el uso.
• Mitigar los riesgos de la autonomía de los LLM mediante la puerta de viabilidad y la fundamentación por recuperación.
• Asegurar que la evaluación de la calidad de los datos sea reproducible y auditable al separar estrictamente la generación probabilística de la ejecución determinista.

El trabajo no pretende resolver todos los desafíos de la calidad de los datos, sino que ofrece un mecanismo controlado para operacionalizar la conciencia del contexto en los procesos automatizados, equilibrando la flexibilidad de la IA agéntica con los requisitos de seguridad de la gestión de datos. Se identifica como trabajo futuro la extensión del marco a motores de Big Data (por ejemplo, Spark) y la evaluación de la transferibilidad del conocimiento recuperado a través de diversos dominios.