💬 NLP

ShopEase: A Generative AI-Based Multi-Agent Framework for Intelligent Enterprise Customer Support Using Hybrid Retrieval-Augmented Generation

Este artigo apresenta o ShopEase, um framework de IA generativa multiagente para suporte ao cliente empresarial que utiliza LLaMA 3.2 local e recuperação híbrida, demonstrando, por meio de avaliação em 2.632 consultas, que a recuperação densa via FAISS supera as abordagens híbridas esparsas e com reranking em termos de precisão, ao mesmo tempo em que evita as penalidades de latência associadas ao reranking por cross-encoder.

Autores originais: Aakash Kumar Tiwari, Somesh Kumar

Publicado 2026-09-15✓ Author reviewed ⓘ

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aakash Kumar Tiwari, Somesh Kumar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo moderno dos negócios, manter um cliente satisfeito muitas vezes significa responder às suas perguntas de forma rápida e precisa. Quando uma pessoa compra algo online e depois precisa saber sobre um reembolso, um atraso no envio ou um item danificado, ela espera uma resposta imediata. Durante décadas, as empresas tentaram automatizar isso com chatbots, programas de computador projetados para conversar como humanos. Esses programas funcionam bem para perguntas simples e repetitivas, mas costumam tropeçar quando uma situação se torna complicada. Se um cliente pergunta sobre uma política específica enquanto também menciona um pedido anterior ou um problema único, um programa básico pode se perder porque não consegue se lembrar da conversa ou encontrar o livro de regras correto. Para resolver isso, pesquisadores estão construindo sistemas que agem mais como uma equipe de especialistas do que como um único robô. Esses novos sistemas usam um método chamado geração aumentada por recuperação, que é uma maneira sofisticada de dizer que o computador consulta fatos em um banco de dados antes de falar, garantindo que sua resposta seja baseada em regras reais da empresa em vez de apenas adivinhar. Eles também usam múltiplos "agentes", ou pequenos programas que lidam com diferentes tarefas, como um que lembra quem é o cliente, outro que encontra a política correta e um terceiro que decide se um humano precisa intervir.

Uma equipe de pesquisadores do Instituto Indiano de Tecnologia de Kharagpur construiu um novo sistema chamado ShopEase para testar o quão bem esse método de equipe funciona para o suporte ao cliente empresarial. O objetivo deles era criar uma estrutura que pudesse lidar com toda a jornada de uma consulta de cliente, desde o momento em que uma pergunta é feita até a resposta final, enquanto sabe quando passar o bastão para um trabalhador humano. O sistema é projetado com seis partes distintas que trabalam juntas. Primeiro, um guarda verifica a pergunta recebida para garantir que ela seja segura e clara. Em seguida, um agente identifica o que o cliente realmente deseja. Outros agentes buscam o histórico pessoal do cliente em um banco de dados e recordam detalhes de conversas anteriores. Uma equipe de recuperação central pesquisa através de milhares de documentos de políticas para encontrar as regras específicas que se aplicam à situação. Se o sistema sentir que o problema é muito complexo ou arriscado, um agente de escalonamento entrega o caso a um humano. Finalmente, um supervisor coordena todas essas etapas e garante que a resposta final seja revisada antes de ser enviada de volta ao cliente.

Para ver se esse design realmente funciona, os pesquisadores o testaram em um grande conjunto de 2.632 perguntas reais de clientes que haviam sido reservadas para este experimento específico. Essas perguntas cobriam seis categorias comuns: reembolsos, devoluções, problemas de envio, cancelamentos, produtos danificados e um grupo de perguntas que não se encaixavam em nenhuma categoria clara. A equipe queria ver qual método de encontrar o documento de política correto funcionava melhor. Eles testaram seis estratégias de busca diferentes. Algumas dependiam apenas da correspondência de palavras exatas, enquanto outras usavam um método que entendia o significado por trás das palavras, mesmo que o vocabulário específico fosse diferente. Eles também testaram combinações desses métodos e adicionaram uma etapa onde uma segunda verificação mais cuidadosa era realizada para ver se melhorava a resposta final.

Os resultados mostraram que entender o significado da pergunta era muito mais importante do que a correspondência de palavras exatas. O sistema que dependia exclusivamente de encontrar documentos com significados semelhantes alcançou a maior taxa de sucesso, identificando corretamente a categoria de política certa para 85,37 por cento das perguntas. Isso foi significativamente melhor do que o sistema que apenas procurava por palavras correspondentes, que acertou a resposta em apenas 55,74 por cento dos casos. Curiosamente, adicionar essa etapa de verificação cuidadosa extra não ajudou. Na verdade, tornou o sistema mais lento sem torná-lo mais preciso. Os pesquisadores descobriram que o tempo levado para obter uma resposta aumentou visivelmente quando adicionaram essa camada extra de processamento, embora o número de respostas corretas não tenha aumentado. Isso sugere que, para este tipo de tarefa, uma busca rápida baseada em significado é mais eficaz do que um processo de múltiplas etapas mais lento.

Quando os pesquisadores olharam mais de perto onde o sistema teve sucesso e onde falhou, um padrão claro surgiu. O sistema foi muito bom em lidar com perguntas sobre envio, cancelamentos e devoluções, frequentemente obtendo a resposta correta mais de 90 por cento das vezes. No entanto, ele teve dificuldades significativas com perguntas que não se encaixavam perfeitamente em uma categoria conhecida. Quando um cliente fazia uma pergunta vaga que não correspondia a nenhuma política específica, o sistema frequentemente adivinhava e a atribuía a uma categoria conhecida de qualquer maneira, em vez de admitir que não sabia. Esta foi a principal fonte de erros. O sistema também teve problemas para distinguir entre reembolsos e devoluções, pois esses dois conceitos frequentemente utilizam linguagem semelhante, levando a alguma confusão. Apesar desses contratempos, o estudo provou que um sistema multiagente pode combinar com sucesso o histórico do cliente, a memória da conversa e a recuperação de políticas em um fluxo de trabalho único e coordenado.

Os pesquisadores também testaram o que acontecia quando removiam certas partes do sistema para ver o quão importante cada peça era. Eles descobriram que remover a parte que lembrava os detalhes pessoais do cliente causou a maior queda no quanto as respostas pareciam personalizadas. Isso confirmou que saber quem é o cliente importa tanto quanto conhecer as regras. Remover a parte que lida com o histórico da conversa também prejudicou a qualidade das respostas, embora não tanto quanto perder os dados do cliente. A parte responsável por entregar casos para humanos teve menos impacto na qualidade das respostas automatizadas, o que faz sentido, pois seu trabalho principal é intervir quando a máquina não consegue resolver o problema, em vez de melhorar o próprio desempenho da máquina.

No fim, o sistema ShopEase demonstrou que uma abordagem baseada em equipe funciona bem para o suporte empresarial, desde que as ferramentas certas sejam usadas. O estudo mostrou que a recuperação densa, que entende o significado das palavras, é superior à simples correspondência de palavras-chave para este tipo de trabalho. Também revelou que adicionar etapas de rechecagem complexas pode tornar as coisas mais lentas sem adicionar valor. Embora o sistema não seja perfeito, especialmente ao lidar com perguntas vagas ou fora do escopo, ele oferece uma base sólida para o futuro do atendimento ao cliente. Os pesquisadores sugerem que melhorias futuras devem focar em melhores maneiras de detectar quando uma pergunta está fora do conhecimento do sistema e em expandir a biblioteca de políticas para cobrir cenários mais diversos. Por ora, este trabalho fornece um roteiro claro para a construção de sistemas de suporte inteligentes, rápidos, precisos e prontos para realizar a transferência para um humano quando a situação exigir.

Resumo Técnico: ShopEase – Um Framework de Multi-Agentes Baseado em IA Generativa para Suporte ao Cliente Empresarial Inteligente

1. Declaração do Problema

Os sistemas de suporte ao cliente empresarial enfrentam o desafio de responder com precisão às consultas dos clientes, integrando contexto relevante do cliente, informações de políticas e o histórico da conversa. Os chatbots tradicionais costumam ter dificuldades quando as consultas exigem a recuperação de políticas específicas, acesso a registros de clientes (CRM) ou intervenção humana para casos complexos. As pesquisas existentes tendem a abordar esses desafios de forma isolada: algumas focam na geração de respostas de chatbots, outras em estratégias de Geração Aumentada de Recuperação (RAG), coordenação de multi-agentes ou mecanismos de humano no circuito (human-in-the-loop - HITL). Há uma carência de um framework unificado que combine esses componentes com uma avaliação comparativa de diferentes estratégias de recuperação (léxica, densa, híbrida e de reclassificação/reranked) dentro de um único fluxo de trabalho empresarial. Além disso, confiar em mapeamentos fixos entre a intenção da consulta e as categorias de política frequentemente falha quando a linguagem do cliente diverge da redação da política.

2. Metodologia

O artigo propõe o ShopEase, um framework de multi-agentes baseado em IA Generativa projetado para lidar com o fluxo de trabalho completo de suporte ao cliente empresarial. O sistema é implementado como um fluxo de trabalho baseado em grafos em Python, utilizando um modelo LLaMA 3.2 local (via Ollama) para a geração de respostas e uma interface Streamlit para interação com o usuário.

Componentes Principais:

Guardrail (Proteção): Pré-processa e valida as consultas recebidas dos clientes.
Agente de Intenção (Intent Agent): Identifica a intenção primária da consulta.
Agente de CRM: Recupera dados específicos do cliente (ex: histórico de pedidos, nível de fidelidade) de um banco de dados SQLite.
Agente de Memória (Memory Agent): Acessa informações relevantes de turnos de conversas anteriores.
Agente RAG Híbrido: Recupera documentos de política usando uma combinação de métodos de recuperação densa e esparsa.
Agente de Escalação (Escalation Agent): Direciona casos que exigem revisão humana para uma etapa de humano no circuito.
Agente Supervisor (Supervisor Agent): Coordena o fluxo de trabalho, gerenciando o estado compartilhado entre os componentes.
Componente de Reflexão (Reflection Component): Revisa a resposta gerada antes da entrega final.

Estratégia de Recuperação:
O sistema emprega uma abordagem de RAG Híbrido para a recuperação de políticas, combinando:

Recuperação Densa: Usando FAISS com embeddings nomic-embed-text para similaridade semântica.
Recuperação Esparsa: Usando BM25 para correspondência léxica.
Fusão: Combinando resultados via Reciprocal Rank Fusion (RRF).
Reclassificação (Reranking): Avaliando a adição de um Cross-Encoder (ms-marco-MiniLM-L-6-v2) para reclassificação.

A categoria da política é determinada diretamente a partir dos documentos recuperados, em vez de através de um mapeamento fixo de intenção-para-política.

Configurações Experimentais:
Seis configurações de recuperação foram avaliadas em um conjunto de dados de controle de 2.632 consultas em seis categorias (Reembolso, Devolução, Envio, Cancelamento, Produto Danificado, Desconhecido):

Apenas BM25
Apenas FAISS
RRF Justo (pesos iguais)
RRF Ponderado (pesos otimizados)
RRF + Cross-Encoder
Top-10 Híbrido + Cross-Encoder

3. Principais Contribuições

O artigo delineia cinco contribuições primárias:

Desenvolvimento de Framework: A criação do ShopEase, que integra contexto do cliente, memória de conversa, recuperação de política, geração de resposta e escalação humana em um único fluxo de trabalho de multi-agentes.
Análise Comparativa de Recuperação: Uma avaliação sistemática de seis distinções de configurações de recuperação (esparsa, densa, híbrida e reclassificada) sob condições experimentais idênticas.
Avaliação de Dataset: Testes em um substancial conjunto de dados de controle de 2.632 consultas de clientes empresariais do mundo real.
Métricas Abrangentes: Análise utilizando precisão, acurácia, recall, pontuações F1, matrizes de confusão, medições de latência e testes de significância estatística (teste de McNemar).
Estudo de Ablação: Uma investigação sobre o impacto da remoção de componentes específicos (CRM, Memória, Escalação) no desempenho do sistema, especificamente em relação à fundamentação (groundedness) e personalização.

4. Resultados

A avaliação gerou as seguintes descobertas principais:

Acurácia: O FAISS-only alcançou a maior acurácia com 85,37% (2.247 previsões corretas). O Weighted RRF seguiu de perto com 85,07%. O BM25-only teve um desempenho significativamente inferior, com 55,74%.
Impacto da Reclassificação (Reranking): A adição da reclassificação por Cross-Encoder não melhorou a acurácia da classificação. "RRF + Cross-Encoder" alcançou 83,24%, e "Top-10 Hybrid + Cross-Encoder" alcançou 81,88%.
Latência: A reclassificação aumentou significativamente o tempo de processamento. As configurações de Cross-Encoder tiveram latências médias de ~0,14s e ~0,25s, comparadas a ~0,04s para FAISS-only e ~0,0005s para BM25-only.
Significância Estatística: O teste de McNemar mostrou que não houve diferença estatisticamente significativa entre FAISS-only e Weighted RRF ( $p = 0,428$ ), embora ambos tenham sido significativamente melhores que as configurações de Fair RRF e Cross-Encoder.
Desempenho por Categoria: O sistema teve um desempenho forte em Envio (99,17% de recall), Cancelamento (96,89% de recall) e Devolução (94,42% de recall). A categoria Desconhecido (Unknown) permaneceu como uma grande fonte de erro, com 0% de recall, pois o sistema tendeu a forçar essas consultas para categorias de política conhecidas.
Padrões de Erro: A confusão principal ocorreu entre "Reembolso" e "Devolução" devido à terminologia sobreposta.
Descobertas de Ablação: A remoção do componente CRM causou a queda mais significativa nas pontuações de personalização, destacando a importância dos dados específicos do cliente. A remoção do componente de Escalação teve um efeito mínimo nas pontuações de resposta, já que seu papel principal é o roteamento do fluxo de trabalho, e não a geração de conteúdo.

5. Significância e Alegações

O artigo alega que o ShopEase demonstra a viabilidade de um framework de multi-agentes unificado para suporte empresarial que aproveita efetivamente o contexto do cliente e o histórico da conversa. O estudo conclui que, para o conjunto de dados avaliado, a recuperação densa (FAISS) fornece o melhor equilíbrio entre acurácia e eficiência, superando a recuperação esparsa e as abordagens híbridas que incluem reclassificação.

Os autores alegam modestamente que seu trabalho preenche uma lacuna ao combinar múltiplos componentes de suporte (CRM, memória, RAG, HITL) e fornecer uma comparação direta e controlada de estratégias de recuperação. Eles enfatizam que, embora o sistema melhore o tratamento de consultas baseadas em políticas, as limitações atuais incluem o tratamento de consultas "Desconhecidas" e a falta de dados de implantação no mundo real a longo prazo. O artigo não afirma que o sistema é universalmente superior em todos os contextos, mas sim que oferece um fluxo de trabalho coordenado e robusto para tarefas específicas de recuperação de políticas empresariais onde a correspondência semântica densa é vantajosa.