From Unstructured to Structured: LLM-Guided Attribute Graphs for Entity Search and Ranking

1. Declaração do Problema

O artigo aborda o desafio da Busca de Entidades no comércio eletrônico, especificamente a tarefa de encontrar produtos mais semelhantes a um produto de consulta (por exemplo, encontrar substitutos).

• Dificuldade Central: As informações dos produtos são tipicamente não estruturadas (títulos, descrições, listas de recursos), tornando difícil realizar comparações sistemáticas ao nível de atributos.
• Limitações dos Métodos Existentes:
  • Embeddings Tradicionais: Modelos semânticos densos frequentemente falham em capturar relevância de atributos matizada e específica ao contexto (por exemplo, distinguir entre "tamanho da tela" para TVs versus "material" para roupas).
  • Classificação Direta por LLM: Alimentar texto não estruturado bruto diretamente em Modelos de Linguagem de Grande Escala (LLMs) para classificação é custoso, introduz alta latência, consome tokens excessivos e luta para impor restrições rígidas em atributos críticos.
  • Início Frio e Categorias Dinâmicas: A filtragem colaborativa tradicional falha com novos produtos, e os conjuntos de atributos são dinâmicos, exigindo adaptação constante a novas categorias.

2. Metodologia

Os autores propõem um sistema híbrido de dois estágios que desacopla a construção de conhecimento da classificação, utilizando um Classificador de Grafo Baseado em Atributos.

Estágio 1: Construção de Grafo de Atributos Offline

Este estágio enriquece o catálogo de produtos convertendo texto não estruturado em um grafo estruturado e reutilizável.

• Definição de Atributos:
  • O sistema define esquemas de atributos hierárquicos (níveis de Super-categoria e Sub-categoria) usando um LLM (Claude 3.5 Sonnet v2).
  • Gera atributos amplos (por exemplo, Marca, Dimensões) e específicos (por exemplo, Resolução da Câmera para Smartphones).
  • Curadoria com intervenção humana (agrupamento/deduplicação) garante consistência de nomenclatura em 61 super-categorias e 4.940 sub-categorias.
• Extração de Atributos:
  • O LLM processa o texto do produto (título, descrição, listas) para extrair pares estruturados Atributo-Valor (AV) com base nos esquemas predefinidos.
  • Também identifica atributos específicos do produto que não estão no esquema inicial.
• Construção do Grafo:
  • Um grafo bipartido é construído onde os nós representam Produtos e Atributos.
  • As arestas conectam produtos a atributos, rotulados com o Valor específico.
  • Otimização: Atributos são nós e valores são rótulos de arestas para impedir que o grafo se torne intratavelmente grande (evitando um nó único para cada valor único).

Estágio 2: Classificação Online Consciente de Grafo por LLM

Este estágio realiza a busca e classificação reais usando o grafo estruturado.

• Geração de Candidatos:
  • Uma entidade de consulta é recebida.
  • Um modelo de recuperação densa (bge-m3) codifica a consulta e os itens do catálogo para recuperar os top-$K$ candidatos (por exemplo, os 50 primeiros) com base na similaridade de cosseno de texto concatenado.
• Classificação Consciente de Grafo:
  • Em vez de alimentar texto bruto ao LLM, o sistema constrói um sub-grafo local contendo a entidade de consulta, as entidades candidatas e seus nós de atributos associados.
  • O LLM realiza raciocínio zero-shot, em lista, comparando os valores de atributos da consulta contra os candidatos dentro deste sub-grafo.
  • Pontuação: O LLM percorre implicitamente as arestas do grafo para avaliar a similaridade, atribuindo uma pontuação (0–100) com base no quão bem os valores de atributos se alinham.
  • Eficiência: A entrada para o LLM é JSON estruturado e sanitizado (pares AV) em vez de texto livre, reduzindo o uso de tokens e mitigando riscos adversariais.

3. Contribuições Principais

1. Construção de Grafo de Atributos Baseada em LLM: Um pipeline que define automaticamente esquemas conscientes de categoria e extrai pares AV estruturados de texto não estruturado, criando um grafo de atributos escalável e reutilizável.
2. Classificação Consciente de Grafo por LLM: Um mecanismo de classificação inovador onde o LLM raciocina sobre grafos de atributos estruturados em vez de texto bruto. Isso permite comparações explícitas de atributo-valor, melhorando a precisão e a interpretabilidade.
3. Estratégia de Desacoplamento: Separar o trabalho pesado da construção de conhecimento (offline) do processo de inferência (online) permite classificação eficiente e de baixa latência sem re-treinar modelos.
4. Implantação Escalável: O sistema é projetado para escala industrial, lidando com milhões de produtos em diversas categorias com capacidades zero-shot.

4. Resultados Experimentais

O sistema foi avaliado no conjunto de dados Amazon Shopping Queries (469k produtos) usando tanto avaliação humana quanto avaliação baseada em LLM (Nova Pro).

• Métricas de Desempenho:
  • Precisão@5: Melhorou de 39,52% (Recuperação Densa + Classificador LLM Bruto) para 47,14% (Classificador de Grafo).
  • Reciprocidade Média de Rank (MRR): Aumentou de 60,00% para 63,97%.
  • Precisão Média (mAP): Melhorou de 57,99% para 60,42%.
  • nDCG@1: Melhorou de 75,27% para 79,96% (em limite de similaridade estrito).
• Ganhos de Eficiência:
  • Redução de Tokens: Atributos estruturados reduziram o uso de tokens por produto em 57% (aproximadamente 300 tokens vs. 700 para texto bruto).
  • Latência: Alcançou inferência aproximadamente 250ms mais rápida por solicitação em comparação com a classificação de texto bruto.
• Precisão de Extração: A etapa de extração de atributos alcançou uma pontuação F1 de 83,47% em um conjunto de amostra de 20k, com alucinações minimizadas via restrições de esquema.
• Generalização: O sistema demonstrou desempenho robusto em diversas categorias de produtos sem exigir dados de treinamento específicos para a tarefa (zero-shot).

5. Significado e Impacto

• Otimização de Custo e Latência: Ao reduzir o consumo de tokens em 57%, a abordagem torna a classificação baseada em LLM economicamente viável para aplicações de comércio eletrônico de alto volume.
• Melhoria na Relevância: A transição da similaridade semântica "saco de palavras" para correspondência explícita de atributos permite que o sistema lide com diferenças sutis de produtos (por exemplo, correspondência de um kit de segurança de 5 peças a outro kit de 5 peças, em vez de apenas "sistema de segurança").
• Implantação no Mundo Real: O sistema já está implantado em um serviço líder de comércio eletrônico global, servindo como entrada para aplicações downstream (preços, disponibilidade) e dados de treinamento para modelos de embedding internos.
• Interpretabilidade: Diferentemente de embeddings densos de caixa-preta, a abordagem baseada em grafo fornece raciocínio transparente baseado em correspondências de atributos específicos, o que é crucial para a confiança do usuário e aplicação de regras de negócios.

Em conclusão, este artigo demonstra que combinar extração estruturada de atributos com raciocínio de LLM cria um sistema superior de busca de entidades que equilibra alta precisão, baixa latência e escalabilidade, superando tanto os métodos de recuperação tradicionais quanto a classificação direta baseada em texto por LLM.