CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

Resumen Técnico: CatalogAgent

Declaración del Problema

Los catálogos de productos son fundamentales para el comercio electrónico, pero con frecuencia sufren de la falta de Atributos Estructurados (SA, por sus siglas en inglés) como el material, el color y la forma. Aunque los Modelos de Lenguaje Extensos (LLM) se han adoptado para predecir estos valores a partir de datos de productos no estructurados (títulos, descripciones, imágenes), los marcos existentes de generador-evaluador enfrentan limitaciones significativas. Específicamente, cuando el Generador (predictor) y el Evaluador (verificador) producen resultados conflictivos, no está claro qué componente es el responsable del error. Además, los paradigmas estándar de "LLM como juez" tienen dificultades para identificar patrones de error de alto nivel a través de diversos tipos de productos (PT) y grupos de atributos sin intervención humana. Los requisitos actuales de escala de producción también exigen modelos ligeros y rentables, lo que hace que la ingeniería de contexto sistemática sea esencial para maximizar el rendimiento sin sacrificar la escalabilidad.

Metodología: Sistema CatalogAgent

Los autores proponen CatalogAgent, un novedoso sistema de autoaprendizaje mediado por un agente supervisor diseñado para mejorar continuamente los modelos Generador y Evaluador mediante la ingeniería de contexto sistemática. El sistema opera como un ciclo de bucle cerrado que comprende cuatro componentes principales:

1. Modelos Trabajadores (Generador y Evaluador)

El sistema emplea LLMs ligeros (específicamente Mistral-NeMo) para el procesamiento por lotes de alto volumen:

• Generador: Infiere valores específicos de SA a partir de títulos de productos, descripciones y datos estructurados.
• Evaluador: Verifica la precisión de los valores generados basándose en la evidencia disponible.
• Detección de Conflictos: El sistema marca los casos donde el Generador y el Evaluador discrepan, o donde la retroalimentación del vendedor contradice los valores aprobados por el modelo.

2. Agente Supervisor (Investigador y Árbitro)

Un agente de alto razonamiento (impulsado por Claude Sonnet) interviene cuando surgen conflictos. Actúa como árbitro e investigador utilizando la metodología ReAct (Razonamiento + Acción) con un conjunto de herramientas completo:

• Arbitraje: Analiza las cadenas de razonamiento tanto del Generador como del Evaluador para determinar el valor del atributo correcto.
• Resolución de Conflictos: Resuelve las discrepancias entre Generador-Evaluador y las discrepancias entre Modelo-Vendedor.
• Uso de Herramientas: Utiliza herramientas de acceso a datos (metadatos del catálogo, esquemas de atributos), validadores específicos del dominio (por ejemplo, tablas de tallas) y herramientas de análisis de imágenes para verificar atributos visuales.
• Salida: Genera información granular, incluyendo diagnósticos de causa raíz y recomendaciones específicas para el refinamiento de prompts o metadatos.

3. Base de Memoria y Resumidor de Memoria

Para permitir la auto-mejora sin intervención humana, el sistema agrega los aprendizajes de casos individuales:

• Base de Memoria: Un repositorio estructurado que almacena las actividades del Agente Supervisor para casos individuales, incluyendo identificación de casos, resultados de arbitraje e información de ingeniería específica (Mejoras de Prompt, Refinamiento de Metadatos, Análisis de Utilidad de Imagen).
• Resumidor de Memoria: Procesa los registros de la Base de Memoria para agregar conocimientos granulares en aprendizajes generalizables a nivel de Tipo de Producto-Atributo (PT-A). Sintetiza patrones de falla comunes en instrucciones de prompt consolidadas, actualizaciones de definición de atributos y configuraciones de entrada de imagen.

4. Ingeniería de Contexto bajo Restricciones de Regresión

El sistema inyecta los aprendizajes de vuelta en los modelos trabajadores a través de tres tipos de ingeniería de contexto:

1. Optimización de Prompts: Refinar las instrucciones para mejorar la claridad y reducir las alucinaciones (por ejemplo, instruir al modelo para que devuelva "No Obtenible" en lugar de fabricar un nombre de modelo).
2. Refinamiento de Metadatos: Expandir los conjuntos de valores y aclarar definiciones ambiguas (por ejemplo, añadir "camisa de botones" a los valores válidos para el tipo de forma de camisa).
3. Determinación de Utilidad de Imagen: Identificar si las imágenes principales o secundarias son predictivas para atributos específicos, optimizando las modalidades de entrada para reducir los costos de tokens.

Crucialmente, estas actualizaciones se rigen por un problema de optimización restringida. Las nuevas configuraciones ($\theta$) deben minimizar las tasas de discrepancia mientras aseguran que la precisión en un "Conjunto de Datos Dorado" ($G$) no degrade por debajo de una línea base ($\theta_0$) en más de un umbral de tolerancia ($\delta$). Esto evita que el sistema se sobreajuste a casos límite a expensas del rendimiento general.

Principales Contribuciones

El artículo describe tres contribuciones primarias:

1. Un Nuevo Paradigma: Introducción de un sistema de autoaprendizaje mediado por un agente supervisor que monitorea autónomamente las operaciones y mejora la calidad de la predicción de atributos mediante la ingeniería de contexto sistemática sin intervención humana.
2. Módulos Novedosos: El diseño de la Base de Memoria y el Resumidor de Memoria, que crean un bucle de retroalimentación de auto-mejora al capturar las interacciones del agente y agregarlas en información accionable para los modelos trabajadores.
3. Estrategia de Mejora Dirigida: Un enfoque único de mejora de modelos que mina casos de discrepancia difíciles (entre Generador/Evaluador y Modelo/Vendedor) para identificar áreas específicas que requieren ingeniería de contexto, en lugar de aplicar optimizaciones amplias y no dirigidas.

Resultados Experimentales

El sistema fue evaluado en un conjunto de datos de 4.89 millones de pares Producto-Atributo, con 50k pares utilizados para la investigación del Supervisor y 50k para probar la eficacia de la ingeniería de contexto resultante.

• Rendimiento del Supervisor: En evaluaciones humanas, el Agente Supervisor alcanzó una precisión del 97.26% al generar valores de SA (actuando como Generador) y una precisión del 94.56% al evaluar la corrección (actuando como Evaluador) en las discrepancias Generador-Evaluador. Para las discrepancias Modelo-Vendedor, alcanzó una precisión del 85.65% y un recuerdo (recall) del 94.28%.
• Mejora del Modelo: A través de la ingeniería de contexto, el sistema transfirió con éxito las capacidades del Supervisor a los modelos trabajadores:
  • Rendimiento del Generador: Mejoró en un 15.24%.
  • Rendimiento del Evaluador: Mejoró en un 13.98%.
• Ganancias Específicas:
  • Actualizaciones de Metadatos: La expansión de los conjuntos de valores (por ejemplo, para "tipo de forma de camisa") produjo mejoras de precisión de hasta un 5%.
  • Actualizaciones de Prompts: Abordar problemas de alucinación (por ejemplo, para "nombre de modelo" en fundas de teléfonos) condujo a una mejora de la precisión del 15.01% para atributos específicos.
  • Pruebas de Regresión: El marco de optimización restringida validó con éxito que las mejoras dirigidas no degradaron el rendimiento en la población general, con la mayoría de los PT-As pasando las pruebas de regresión en el conjunto de datos dorado.

Significado y Reivindicaciones

Los autores afirman que CatalogAgent demuestra un nuevo paradigma para mejorar la precisión de los modelos de IA generativa en entornos de producción. Al aprovechar un agente supervisor para mediar conflictos y un sistema de memoria para agregar aprendizajes, el sistema logra una auto-mejora autónoma. El significado radica en la capacidad de:

• Abordar sistemáticamente la naturaleza de "caja negra" de las discrepancias de los LLM mediante el diagnóstico de las causas raíz.
• Transferir capacidades de razonamiento de alto nivel de un Supervisor potente a modelos trabajadores ligeros y rentables mediante la ingeniería de contexto.
• Mantener la estabilidad de la producción mediante restricciones de regresión, asegurando que las optimizaciones para casos límite difíciles no comprometan el rendimiento de los casos bien comprendidos.

El artículo concluye que este enfoque ofrece una alternativa escalable y rentable a la evaluación humana y al ajuste manual, permitiendo que los catálogos de comercio electrónico evolucionen y enriquezcan continuamente los datos de productos con una intervención humana mínima. El trabajo futuro sugerido por los autores incluye el uso de las etiquetas de alta calidad generadas por el Supervisor para realizar el ajuste fino (fine-tuning) directo de los modelos de lenguaje trabajadores.