Resumo Técnico: TRACE: Recomendação Turística com Evidência de Citação Responsável

1. Declaração do Problema

O turismo representa um domínio de alto risco para Sistemas de Recomendação Conversacionais (CRS). Ao contrário de recomendações gerais, uma sugestão falha no turismo pode resultar em perda financeira significativa e no desperdício irreversível de tempo de viagem. As atuais estruturas de avaliação para CRS sofrem de quatro lacunas críticas que as tornam insuficientes para este domínio:

1. Cegueira Turística: Benchmarks existentes frequentemente ignoram a coerência espacial, preferências de múltiplos aspectos (por exemplo, culinária, preço, atmosfera) e a viabilidade de itinerários.
2. Classificação por Métrica Única: Os sistemas são tipicamente classificados por Recall@k sobre menções a entidades, falhando em avaliar a qualidade da fundamentação ou justificação fornecida.
3. Falta de Auditoria de Evidências: Avaliações baseadas apenas na precisão permitem que justificativas plausíveis, mas fabricadas, passem sem verificação.
4. Sem Reparo Conversacional: Benchmarks raramente testam a capacidade de um sistema de se recuperar quando um usuário rejeita explicitamente uma recomendação no meio do diálogo.

Consequentemente, há uma falta de um benchmark que avalie simultaneamente Precisão (recomendar o Ponto de Interesse correto), Fundamentação (fornecer evidências verificáveis, verbais, de visitantes anteriores) e Recuperação (adaptar-se à rejeição do usuário).

2. Metodologia: O Benchmark TRACE

Os autores introduzem o TRACE (Recomendação Turística com Evidência de Citação Responsável), um benchmark projetado para avaliar CRS turísticos como um problema conjunto de recomendação correta de preferências, evidência verificável por intervalo de resenha e reparo pós-rejeição.

Construção do Conjunto de Dados

O TRACE consiste em 10.000 diálogos multi-turno gerados sobre uma base de conhecimento equilibrada de 2.400 POIs do Yelp (restaurantes, hotéis, atrações) em 8 cidades dos EUA, emparelhados com 34.208 resenhas.

• Pipeline de Geração: Os diálogos são sintetizados usando DSPy e gpt-5.4-mini. O processo envolve construção de cenários, seleção de candidatos de POI e geração de diálogo com restrições estritas: alternância usuário-sistema, pelo menos três recomendações distintas, turnos de comparação e turnos explícitos de rejeitar_e_refinar.
• Mecanismo de Citação: Cada recomendação inclui citações verbais de intervalo de resenha (rotuladas [Rn]) apontando para substrings específicos nas resenhas de origem.
• Estratificação de Dificuldade: Os diálogos são categorizados em quatro níveis de dificuldade (Fácil, Médio, Difícil, Especialista) com base na complexidade das preferências e resolução de conflitos.
• Pools de Candidatos: O benchmark suporta avaliação em modo de conjunto fechado (8 candidatos), expandido (16, 32) e conjunto aberto (50–100 candidatos).

Estrutura de Avaliação

O TRACE introduz 25 métricas organizadas sob três competências principais:

1. Precisão: Recall@k, MRR e Hit@k.
2. Fundamentação:
   • CGS (Pontuação de Fundamentação Composta): Uma métrica nova que combina Pontuação de Fundamentação (correspondência difusa de citações), Densidade de Citação (CD) e Cobertura de Proveniência (PC). Penaliza respostas com baixa densidade de citação ou citações de aspectos ausentes.
   • Fundamentação por Entailment: Utiliza modelos de Inferência de Linguagem Natural (NLI) para verificar se as afirmações são semanticamente entailed pelas resenhas citadas, distinguindo entre cópia superficial e suporte genuíno.
3. Recuperação: Taxa de Recuperação de Rejeição (sucesso após uma rejeição do usuário), Taxa de Sucesso da Tarefa (TSR) e Turnos-até-Primeiro-Correto (T2R).

Baselines

O estudo avalia 14 sistemas de baseline em quatro categorias:

• Recuperadores Não-LLM: Popularidade, TF-IDF, Baseado em Aspectos, Recuperação Densa, Espacial, Híbrido-RRF, Planejamento de Itinerário, Aprimorado por Conhecimento e Baseado em Persona.
• LLM-Direto: LLM Zero-Shot (não aumentado).
• LLM+Recuperar: DST (Rastreamento de Estado de Diálogo), RAG-Citação (com restrições de citação) e Síntese de Múltiplas Resenhas.
• LLM+Planejar/Refletir: Aumentado por Memória (memória entre sessões).

3. Resultados Chave: A Lacuna de Três Competências

Os experimentos revelam um trade-off fundamental, denominado Lacuna de Três Competências, onde nenhum sistema único se destaca em todos os três eixos (Precisão, Fundamentação, Recuperação).

• Precisão e Recuperação: LLM Zero-Shot lidera significativamente na precisão de conjunto fechado (Recall@1 = 0,533) e na recuperação de rejeição (Taxa de Recuperação de Rejeição = 0,988). No entanto, seu desempenho degrada em cenários de conjunto aberto (caindo para Recall@1 = 0,132), embora ainda supere recuperadores não-LLM.
• Fundamentação: Recuperadores Não-LLM (por exemplo, Densa, TF-IDF) dominam a fundamentação verbal superficial (CGS até 0,864) porque incorporam trechos exatos de resenhas. No entanto, suas pontuações de entailment semântico são baixas (0,110–0,193), indicando que, embora copiem o texto, o texto nem sempre apoia semanticamente a afirmação específica da recomendação.
• O Fracasso da Síntese: A Síntese de Múltiplas Resenhas colapsa na recuperação (0,263) e fundamentação (CGS = 0,008), falhando em adaptar-se às restrições do usuário ou sintetizar evidências efetivamente.
• Validação Humana: Métricas automatizadas correlacionam-se com julgamentos humanos. A Pontuação de Fundamentação (GS) mostra uma forte correlação positiva com a precisão de citação humana (Spearman $\rho = +0,80$). No entanto, avaliadores humanos constataram que alta fluência (LLM) não garante precisão de citação, e alta densidade de citação (Recuperadores) não garante informatividade.

4. Significado e Alegações

O artigo alega que o TRACE reformula a recomendação turística responsável de um leaderboard de eixo único (precisão) para um alvo conjunto que requer:

1. Recomendação Correta: Selecionar o POI correto para preferências de múltiplos aspectos.
2. Evidência Verificável: Justificar sugestões com citações de intervalo de resenha que possam ser auditadas.
3. Reparo Adaptativo: Recuperar-se da rejeição do usuário no meio do diálogo.

Os autores afirmam que benchmarks existentes falham em capturar a "Lacuna de Três Competências", levando a uma falsa sensação de segurança onde os sistemas podem ser fluentes e frequentemente corretos, mas fracamente fundamentados, ou bem citados, mas ruins em selecionar o POI correto. O benchmark fornece o primeiro conjunto de dados e protocolo de avaliação para auditar simultaneamente essas três dimensões, destacando que a pesquisa futura em CRS deve otimizar para o objetivo conjunto em vez de métricas isoladas.

5. Limitações e Escopo

Os autores reconhecem várias limitações:

• Escopo de Dados: O conjunto de dados é limitado a dados do Yelp em inglês de 8 cidades dos EUA.
• Viés do Gerador: Os diálogos são gerados por um LLM (gpt-5.4-mini), embora a validação entre famílias (Haiku, Qwen) confirme o padrão geral da Lacuna de Três Competências.
• Avaliação Humana: A avaliação humana é um estudo de calibração (90 itens) em vez de uma classificação completa de sistemas, usada para validar as métricas automatizadas.
• Avaliação de Conjunto Aberto: Os resultados de conjunto aberto são comparações em nível de sistema (modelo + interface) em vez de comparações puras de modelo devido ao tratamento variável do pool de candidatos.

O artigo conclui que, embora os LLMs liderem em precisão e recuperação, e os recuperadores liderem na fundamentação superficial, o campo carece de um sistema unificado que alcance os três, necessitando de novas abordagens arquitetônicas (por exemplo, inferência de alvo conjunto, fundamentação primeiro-semântica) para preencher essa lacuna.