A Modular LLM Framework for Explainable Price Outlier Detection

1. Problema e Motivação

A detecção de preços atípicos (outliers), especificamente preços excessivamente altos, é crítica para o varejo e o comércio eletrônico. Preços errôneos afetam a competitividade, a receita e a confiança do consumidor.

• Limitações das Abordagens Clássicas: Métodos estatísticos tradicionais (como IQR, Z-score, Isolation Forest) dependem de limiares heurísticos e não capturam as relações semânticas ricas entre os atributos dos produtos. Eles são frequentemente "caixas-pretas", incapazes de explicar por que um preço é considerado anômalo, o que os torna inadequados para sistemas de auditoria crítica.
• Desafios na Comparação de Produtos: Sistemas existentes de recuperação de produtos semelhantes (baseados em embeddings) muitas vezes falham em capturar relações semânticas relevantes para o preço (ex: diferenciar tamanhos de pacote, níveis de marca ou funcionalidades), introduzindo ruído nas decisões de precificação.
• Necessidade de Explicabilidade: A auditoria humana exige não apenas uma decisão, mas uma justificativa transparente sobre quais produtos comparáveis foram usados e como as dimensões de valor (marca, tamanho, recursos) influenciaram a conclusão.

2. Metodologia Proposta

Os autores propõem um framework agêntico baseado em LLMs (Modelos de Linguagem de Grande Escala) que trata a detecção de outliers de preço como uma tarefa de raciocínio estruturado, imitando o processo lógico de auditores humanos. O sistema opera em três etapas sequenciais coordenadas por agentes especializados:

A. Geração de Produtos Vizinhos Candidatos

• Utiliza embeddings proprietários treinados com aprendizado contrastivo (títulos e imagens) para projetar produtos em um espaço latente compartilhado.
• Realiza uma busca por similaridade (cosine) para identificar os k produtos vizinhos mais prováveis para um produto-alvo.

B. Agente de Classificação de Relevância (Relevance Agent)

• Avalia se cada vizinho candidato é realmente comparável ao produto-alvo.
• Utiliza lógica disjuntiva baseada em perguntas-chave formuladas por especialistas: "O cliente compararia os preços?", "O produto é similar?" e "Pode ser uma alternativa para o mesmo caso de uso?".
• Filtra vizinhos irrelevantes para evitar ruído na etapa seguinte.

C. Agente de Avaliação de Utilidade (Utility Agent)

• Compara o produto-alvo com cada vizinho relevante em dimensões que influenciam o preço (ex: marca, tamanho, qualidade de construção, recursos).
• Configurações de Atributos: O framework testa quatro configurações para selecionar quais atributos analisar:
  1. Genérico: Critérios fixos aplicáveis a todas as categorias.
  2. Estático (Específico de Categoria): Atributos gerados zero-shot por categoria.
  3. Dinâmico (Específico de Par): O LLM gera atributos para cada par produto-alvo/vizinho.
  4. Dinâmico Ponderado (W-Dynamic): O LLM gera atributos e atribui pesos de importância relativos a cada um.
• O agente atribui uma pontuação de utilidade (+1 melhor, 0 misto, -1 pior) e calcula uma utilidade líquida ponderada.

D. Agente de Decisão Baseada em Raciocínio (Decision Agent)

• Agrega as evidências anteriores utilizando um quadro de quatro quadrantes (eixos: Preço Relativo vs. Utilidade Relativa):
  • Quadrante Anomalia (AP): Vizinhos com maior utilidade e preço menor (sugere que o alvo está caro).
  • Quadrante Não-Anomalia: Vizinhos com menor utilidade e preço maior (sugere que o preço do alvo é justificado).
• Estratégias de Decisão:
  1. Veto "Pior e Mais Caro" (Worse-Pricier Veto): Se houver qualquer produto relevante no quadrante não-anomalia, o preço do alvo é considerado normal. Prioriza precisão (minimiza falsos positivos).
  2. Votação por Quadrantes: O preço é anômalo se houver mais produtos no quadrante de anomalia do que no não-anomalia. Prioriza recall.
• Parâmetros de Controle: Inclui "padding" (margem) de preço e utilidade para lidar com incertezas e evitar sensibilidade excessiva a pequenas variações.

3. Principais Contribuições

1. Framework Agêntico Explicável: Primeira abordagem automatizada que decompõe a detecção de outliers de preço em subtarefas de raciocínio interpretáveis (classificação, comparação de utilidade, decisão), eliminando a natureza de "caixa-preta" dos métodos estatísticos.
2. Alinhamento com Auditoria Humana: O sistema não apenas detecta, mas gera justificativas verificáveis que permitem aos auditores humanos validar ou anular decisões rapidamente.
3. Estudos de Ablação Abrangentes: Análise detalhada de hiperparâmetros críticos (número de vizinhos, padding de preço, seleção de atributos e estratégias de decisão), demonstrando como o sistema pode ser ajustado para diferentes requisitos de precisão/recall.

4. Resultados Experimentais

O framework foi avaliado em um conjunto de dados diversificado (conjunto "Silver" anotado por humanos, casos difíceis, casos de borda e um conjunto não anotado de 5.400 produtos).

• Desempenho Geral: O modelo agêntico alcançou 76,3% de concordância com auditores humanos no conjunto de teste desafiador (one-sided), superando significativamente as abordagens Zero-Shot (68%) e RAG (23%).
• Precisão e F1: No conjunto Silver, o modelo atingiu um F1-score de 0,55 e uma precisão perfeita de 1,00 (na configuração padrão), indicando que os preços sinalizados como anômalos são quase sempre corretos.
• Taxa de Outliers: A taxa de produtos sinalizados como anômalos foi de 7,8%, mantendo-se abaixo do limite de segurança de 10% esperado para operações de varejo.
• Impacto de Hiperparâmetros:
  • A configuração Genérica para seleção de atributos ofereceu o melhor equilíbrio entre F1 e concordância.
  • A estratégia Worse-Pricier Veto foi superior para minimizar falsos positivos, alinhando-se melhor ao comportamento cognitivo dos auditores humanos.
  • O uso de 7 vizinhos foi identificado como o ponto ideal ("sweet spot") para o equilíbrio entre contexto e sobrecarga cognitiva do LLM.

5. Significado e Impacto

• Aplicabilidade Empresarial: O framework oferece uma solução prática para a escala do e-commerce, reduzindo a carga de trabalho de auditores humanos ao fornecer explicações claras sobre as comparações de preço e utilidade.
• Confiabilidade e Transparência: Ao ancorar as decisões em dados estruturados de produtos e cadeias de raciocínio verificáveis, o sistema aumenta a confiança na IA para decisões financeiras críticas.
• Generalização: A formulação do problema pode ser estendida para outras aplicações, como correspondência de produtos e detecção de fraude, contribuindo para a adoção mais ampla de IA confiável em sistemas corporativos.

Em resumo, o artigo demonstra que modelos de linguagem agênticos, quando estruturados em fluxos de trabalho de raciocínio modular, podem superar métodos tradicionais na detecção de anomalias de preços, oferecendo não apenas alta precisão, mas também a explicabilidade necessária para a integração em sistemas de auditoria de alto risco.