From Unstructured to Structured: LLM-Guided Attribute Graphs for Entity Search and Ranking

1. Declaración del Problema

El artículo aborda el desafío de la Búsqueda de Entidades en el comercio electrónico, específicamente la tarea de encontrar productos más similares a un producto de consulta (por ejemplo, encontrar sustitutos).

• Dificultad Central: La información del producto suele ser no estructurada (títulos, descripciones, viñetas), lo que dificulta realizar comparaciones sistemáticas a nivel de atributo.
• Limitaciones de los Métodos Existentes:
  • Embeddings Tradicionales: Los modelos semánticos densos a menudo fallan al capturar la relevancia matizada y específica del contexto de los atributos (por ejemplo, distinguir entre "tamaño de pantalla" para televisores vs. "material" para ropa).
  • Clasificación Directa con LLM: Alimentar texto no estructurado crudo directamente en Modelos de Lenguaje Grande (LLM) para la clasificación es costoso, introduce alta latencia, consume tokens excesivos y lucha por imponer restricciones estrictas en atributos críticos.
  • Arranque en Frío y Categorías Dinámicas: La filtración colaborativa tradicional falla con productos nuevos, y los conjuntos de atributos son dinámicos, requiriendo adaptación constante a nuevas categorías.

2. Metodología

Los autores proponen un sistema híbrido de dos etapas que desacopla la construcción de conocimiento de la clasificación, utilizando un Ranker de Grafos Basado en Atributos.

Etapa 1: Construcción de Grafos de Atributos Offline

Esta etapa enriquece el catálogo de productos convirtiendo texto no estructurado en un grafo estructurado y reutilizable.

• Definición de Atributos:
  • El sistema define esquemas jerárquicos de atributos (niveles de Super-categoría y Sub-categoría) utilizando un LLM (Claude 3.5 Sonnet v2).
  • Genera atributos amplios (por ejemplo, Marca, Dimensiones) y específicos (por ejemplo, Resolución de Cámara para Smartphones).
  • La curación con intervención humana (agrupación/deduplicación) asegura la consistencia de nombres en 61 super-categorías y 4.940 sub-categorías.
• Extracción de Atributos:
  • El LLM procesa el texto del producto (título, descripción, viñetas) para extraer pares estructurados Atributo-Valor (AV) basados en los esquemas predefinidos.
  • También identifica atributos específicos del producto que no están en el esquema inicial.
• Construcción del Grafo:
  • Se construye un grafo bipartito donde los nodos representan Productos y Atributos.
  • Las aristas conectan productos con atributos, etiquetadas con el Valor específico.
  • Optimización: Los atributos son nodos y los valores son etiquetas de aristas para evitar que el grafo se vuelva inmanejablemente grande (evitando un nodo único para cada valor único).

Etapa 2: Clasificación LLM Consciente del Grafo Online

Esta etapa realiza la búsqueda y clasificación real utilizando el grafo estructurado.

• Generación de Candidatos:
  • Se recibe una entidad de consulta.
  • Un modelo de recuperación densa (bge-m3) codifica la consulta y los elementos del catálogo para recuperar los $K$ mejores candidatos (por ejemplo, los 50 mejores) basándose en la similitud coseno del texto concatenado.
• Clasificación Consciente del Grafo:
  • En lugar de alimentar texto crudo al LLM, el sistema construye un sub-grafo local que contiene la entidad de consulta, las entidades candidatas y sus nodos de atributo asociados.
  • El LLM realiza razonamiento cero-disparo (zero-shot) y por lista comparando los valores de atributo de la consulta contra los candidatos dentro de este sub-grafo.
  • Puntuación: El LLM recorre implícitamente las aristas del grafo para evaluar la similitud, asignando una puntuación (0–100) basada en qué tan bien se alinean los valores de los atributos.
  • Eficiencia: La entrada al LLM es JSON estructurado y saneado (pares AV) en lugar de texto libre, reduciendo el uso de tokens y mitigando riesgos adversarios.

3. Contribuciones Clave

1. Construcción de Grafos de Atributos Basada en LLM: Una tubería que define automáticamente esquemas conscientes de la categoría y extrae pares AV estructurados de texto no estructurado, creando un grafo de atributos escalable y reutilizable.
2. Clasificación LLM Consciente del Grafo: Un mecanismo de clasificación novedoso donde el LLM razona sobre grafos de atributos estructurados en lugar de texto crudo. Esto permite comparaciones explícitas de atributo-valor, mejorando la precisión e interpretabilidad.
3. Estrategia de Desacoplamiento: Separar el trabajo pesado de la construcción de conocimiento (offline) del proceso de inferencia (online) permite una clasificación eficiente y de baja latencia sin reentrenar modelos.
4. Despliegue Escalable: El sistema está diseñado a escala industrial, manejando millones de productos en diversas categorías con capacidades de cero-disparo (zero-shot).

4. Resultados Experimentales

El sistema fue evaluado en el conjunto de datos Amazon Shopping Queries (469k productos) utilizando tanto evaluación humana como evaluación basada en LLM (Nova Pro).

• Métricas de Rendimiento:
  • Precisión@5: Mejoró del 39,52% (Recuperación Densa + Ranker LLM Crudo) al 47,14% (Ranker de Grafos).
  • Recíproco Medio de la Rango (MRR): Aumentó del 60,00% al 63,97%.
  • Precisión Media Media (mAP): Mejoró del 57,99% al 60,42%.
  • nDCG@1: Mejoró del 75,27% al 79,96% (en umbral de similitud estricto).
• Ganancias de Eficiencia:
  • Reducción de Tokens: Los atributos estructurados redujeron el uso de tokens por producto en un 57% (aprox. 300 tokens vs. 700 para texto crudo).
  • Latencia: Se logró una inferencia aproximadamente 250 ms más rápida por solicitud en comparación con la clasificación de texto crudo.
• Precisión de Extracción: El paso de extracción de atributos logró una puntuación F1 del 83,47% en un conjunto de muestra de 20k, con alucinaciones minimizadas mediante restricciones de esquema.
• Generalización: El sistema demostró un rendimiento robusto en diversas categorías de productos sin requerir datos de entrenamiento específicos para la tarea (cero-disparo).

5. Significado e Impacto

• Optimización de Costos y Latencia: Al reducir el consumo de tokens en un 57%, el enfoque hace viable económicamente la clasificación basada en LLM para aplicaciones de comercio electrónico de alto volumen.
• Mejora de la Relevancia: Pasar de la similitud semántica de "bolsa de palabras" a la coincidencia explícita de atributos permite al sistema manejar diferencias matizadas de productos (por ejemplo, igualar un kit de seguridad de 5 piezas con otro kit de 5 piezas, en lugar de solo "sistema de seguridad").
• Despliegue en el Mundo Real: El sistema ya está desplegado en un servicio líder de comercio electrónico global, sirviendo como entrada para aplicaciones aguas abajo (precios, disponibilidad) y datos de entrenamiento para modelos de embeddings internos.
• Interpretabilidad: A diferencia de los embeddings densos de caja negra, el enfoque basado en grafos proporciona un razonamiento transparente basado en coincidencias de atributos específicos, lo cual es crucial para la confianza del usuario y la aplicación de reglas comerciales.

En conclusión, este artículo demuestra que combinar la extracción de atributos estructurados con el razonamiento de LLM crea un sistema de búsqueda de entidades superior que equilibra alta precisión, baja latencia y escalabilidad, superando tanto a los métodos de recuperación tradicionales como a la clasificación directa basada en texto con LLM.