MATRAG: Multi-Agent Transparent Retrieval-Augmented Generation for Explainable Recommendations

Resumo Técnico: MATRAG

1. Problema e Contexto

Os sistemas de recomendação baseados em Grandes Modelos de Linguagem (LLMs) demonstraram capacidades notáveis na compreensão de preferências do usuário. No entanto, a literatura atual enfrenta três desafios críticos que limitam sua adoção em cenários de alta confiança:

• Falta de Transparência: Os LLMs frequentemente operam como "caixas-pretas", gerando sugestões sem articular o raciocínio subjacente, o que erosiona a confiança do usuário.
• Alucinação e Falta de Fundamentação: Embora os LLMs tenham conhecimento pré-treinado, eles tendem a alucinar fatos ou falhar ao incorporar informações específicas de domínio e atualizadas. As abordagens padrão de Retrieval-Augmented Generation (RAG) muitas vezes recuperam apenas fragmentos de texto isolados, ignorando a rica estrutura relacional dos dados.
• Coordenação Multi-Agente: Sistemas de agente único (single-agent) têm dificuldade em decompor tarefas complexas de recomendação, manter raciocínio coerente e sintetizar sinais heterogêneos (comportamentais, semânticos e de contexto) de forma coordenada.

O objetivo do trabalho é criar um sistema que não apenas recomende itens com alta precisão, mas que também forneça explicações transparentes, fundamentadas em conhecimento e personalizadas, fomentando a confiança do usuário.

2. Metodologia: O Framework MATRAG

O MATRAG (Multi-Agent Transparent Retrieval-Augmented Generation) é um framework inovador que unifica colaboração multi-agente, recuperação aumentada por grafos de conhecimento e geração de recomendações explicáveis.

Arquitetura Baseada em Quatro Agentes Especializados:
O sistema é orquestrado por um agente central que coordena quatro agentes LLM especializados:

1. Agente de Modelagem de Usuário (User Modeling Agent):

   • Constrói perfis de preferência dinâmicos e multifacetados.
   • Processa sinais comportamentais (histórico de cliques, compras), feedback textual (resenhas) e fatores contextuais (hora, dispositivo).
   • Mantém um perfil estruturado ($P_u$) que inclui preferências explícitas, implícitas, contextuais e temporais.

2. Agente de Análise de Itens (Item Analysis Agent):

   • Recupera e sintetiza conhecimento estruturado sobre itens a partir de um Grafo de Conhecimento (KG).
   • Utiliza uma abordagem de dois estágios: recuperação densa para identificar subgrafos semanticamente similares e reclassificação (re-ranking) via LLM para filtrar relações relevantes às preferências do usuário.

3. Agente de Raciocínio (Reasoning Agent):

   • Integra sinais de filtragem colaborativa (preferências de usuários similares) com sinais baseados em conteúdo (correspondência de atributos).
   • Executa um processo de raciocínio deliberativo para satisfazer restrições (orçamento, categoria) e otimizar a diversidade.
   • Gera uma cadeia de raciocínio estruturada ($C$), onde cada passo de decisão é vinculado a evidências recuperadas do KG.

4. Agente de Explicação (Explanation Agent):

   • Transforma a cadeia de raciocínio em explicações em linguagem natural.
   • Opera em três modos: Conciso, Detalhado ou Comparativo.
   • Garante que a explicação seja fundamentada (grounded), citando evidências específicas do subgrafo recuperado para evitar alucinações.

Módulo de Pontuação de Transparência (Transparency Scoring Module):
Uma contribuição central é a quantificação da qualidade da explicação através de três dimensões:

• Fidelidade (Faithfulness): Mede se a explicação reflete com precisão as evidências recuperadas (usando NLI - Natural Language Inference).
• Coerência (Coherence): Avalia a consistência lógica e o fluxo da explicação via um LLM-julgador.
• Personalização (Personalization): Mede o alinhamento entre a explicação e o perfil do usuário.
• Uma pontuação final ponderada ($Trans$) guia a avaliação automática e o refinamento do sistema.

3. Contribuições Principais

1. Framework MATRAG: Propõe uma arquitetura multi-agente que combina recuperação aumentada por grafos de conhecimento com agentes especializados para recomendações transparentes.
2. Mecanismo de Pontuação de Transparência: Introduz uma métrica quantitativa para avaliar a fidelidade, coerência e personalização das explicações geradas.
3. Desempenho de Estado da Arte (SOTA): Demonstra superioridade em precisão de recomendação e qualidade de explicação em três conjuntos de dados de referência.
4. Validação Humana: Confirma, através de avaliação por especialistas, que as explicações geradas são percebidas como úteis e confiáveis.

4. Resultados Experimentais

Os experimentos foram conduzidos em três conjuntos de dados: Amazon Reviews (Eletrônicos), MovieLens-1M e Yelp.

• Precisão de Recomendação:

  • O MATRAG superou todos os baselines (incluindo métodos tradicionais como LightGCN, métodos baseados em KG como KGAT, e métodos baseados em LLM como InteRecAgent).
  • Ganhos: Melhoria de 12,7% na Taxa de Acerto (Hit Rate) e 15,3% no NDCG em relação aos melhores baselines.
  • A ablação mostrou que a colaboração multi-agente e a recuperação de KG são componentes críticos; a remoção do Agente de Raciocínio causou a maior queda de desempenho (-15,4% em HR).

• Qualidade da Explicação:

  • O MATRAG obteve pontuações superiores em Fidelidade (+12,8% sobre o G-CRS) e Coerência.
  • Avaliação Humana: Em um estudo com 12 especialistas (gerentes de e-commerce, pesquisadores e designers UX), 87,4% das explicações do MATRAG foram classificadas como "úteis" e "confiáveis" (nota $\ge$ 4 em uma escala de 5), comparado a 62,1% do segundo melhor método.
  • Os especialistas elogiaram a referência a fatos concretos (ex: "dirigido por Christopher Nolan") e a justificativa de por que itens similares não foram escolhidos.

• Eficiência:

  • O sistema apresenta maior latência (5,3s por requisição) devido à coordenação multi-agente e consultas ao KG, mas é considerado aceitável para cenários não em tempo real estrito, com potencial de paralelização.

5. Significado e Implicações

O trabalho do MATRAG estabelece novos padrões para sistemas de recomendação baseados em agentes:

• Confiança através da Transparência: Demonstra que a explicabilidade não é um compromisso com a precisão; pelo contrário, o raciocínio explícito e fundamentado pode melhorar a qualidade da recomendação.
• Papel dos Grafos de Conhecimento: Reforça que os KGs são essenciais para fundamentar as saídas de LLMs, prevenindo alucinações e fornecendo fatos verificáveis.
• Arquitetura Especializada: Valida que decompor tarefas complexas em agentes especializados (em vez de usar um único LLM com prompts complexos) resulta em melhor desempenho e coerência.
• Ciclo de Feedback: O módulo de pontuação de transparência oferece um mecanismo para refinamento iterativo do sistema (via RLHF ou otimização de prompts).

Em suma, o MATRAG oferece um roteiro prático para a implantação de recomendadores baseados em LLMs em ambientes de produção, priorizando a interpretabilidade e a confiança do usuário sem sacrificar a acurácia.