Theory-Guided Deception Detection: A RAG-Based Artificial Intelligence Exploration

Resumo Técnico: Detecção de Decepção Guiada por Teoria via IA Baseada em RAG

Problema
O campo da detecção de decepção busca há muito tempo "balas de prata" tecnológicas para superar a notoriamente baixa precisão da detecção humana de mentiras (que geralmente orbita em torno de 54%). Embora estudos recentes tenham explorado Modelos de Linguagem de Grande Escala (LLMs) para essa tarefa, os resultados permanecem mistos e há uma falta de consenso sobre sua utilidade. Crucialmente, pesquisas anteriores de IA voltadas para a decepção raramente integraram estruturas teóricas estabelecidas para guiar os julgamentos dos modelos. Em vez disso, a maioria dos estudos baseia-se em prompting "fora da caixa" ou aprendizado zero-shot sem fundamentar a IA em teorias específicas de decepção. Este artigo aborda a lacuna na compreensão de se fundamentar os julgamentos de decepção da IA em perspectivas teóricas proeminentes — via Geração Aumentada de Recuperação (RAG) — melhora a precisão da detecção ou altera os vieses de resposta em comparação com modelos de linha de base (não-RAG).

Metodologia
Os autores desenvolveram um framework experimental abrangente comparando modelos RAG guiados por teoria contra LLMs de linha de base em múltiplas dimensões:

• Estruturas Teóricas: Sete teorias dominantes de decepção foram operacionalizadas em sistemas RAG: (1) Detalhes e Complicações, (2) Abordagem de Vazamento (Leakage) de Ekman, (3) Teoria dos Quatro Fatores, (4) Teoria da Manipulação da Informação (IMT), (5) Teoria da Decepção Interpessoal (IDT), (6) Teoria do Padrão de Verdade (Truth-Default Theory - TDT) e (7) A Abordagem da Verificabilidade.
• Construção do RAG: Seguindo o framework "Sete Cs" (Bailenson et al., 2026), os autores coletaram até 10 documentos de fontes principais por teoria (totalizando 50 fontes), limparam-nos (removendo tabelas e referências) e os fragmentaram em 5.808 unidades recuperáveis. Estes foram incorporados usando text-embedding-3-large e armazenados em repositórios de vetores ChromaDB específicos para cada teoria.
• Processo de Recuperação: Para cada julgamento, o sistema empregou uma estratégia de recuperação híbrida combinando busca por palavra-chave (BM25) e busca semântica. Os seis fragmentos superiores fundidos foram recuperados e passados ao LLM como contexto.
• Modelos e Dados: O estudo utilizou quatro LLMs distintos (gpt-4o, claude-sonnet-4-6, ollama/llama3, deepseek-v4-flash) e cinco conjuntos de dados diversos (avaliações de hotéis, opiniões de amigos, transcrições judiciais e transcrições de entrevistas de infidelidade), totalizando 700 declarações. O estudo visou uma divisão equilibrada de tentativas de verdade e decepção (baseadas na realidade) sempre que possível, selecionando 100 de cada de conjuntos de dados maiores ou utilizando todos os casos disponíveis se houvesse menos de 200.
• Design Experimental: Um total de 39.200 julgamentos foram realizados através de um design 2 (Tipo de execução: RAG vs. Linha de base) × 7 (Teoria) × 4 (LLM) × 5 (Conjunto de dados). Os modelos de linha de base receberam prompts idênticos, mas sem o contexto teórico recuperado.
• Análise: O estudo mediu a precisão geral de detecção, o viés de verdade, a precisão da verdade e a precisão da mentira. Também realizou uma análise exploratória das justificativas geradas pelos LLMs usando a Investigação Linguística e Contagem de Palavras (LIWC) para avaliar o pensamento analítico e o processamento cognitivo.

Principais Resultados

• Precisão: A precisão geral de detecção foi de 54,6%, consistente com o desempenho humano típico. Não houve diferença estatisticamente significativa na precisão entre os modelos baseados em RAG (54,5%) e os modelos de linha de base (54,6%).
• Viés de Resposta: Embora a precisão tenha permanecido inalterada, os modelos RAG foram ligeiramente menos enviesados para a verdade (57,0%) do que os modelos de linha de base (59,7%), embora o tamanho do efeito tenha sido pequeno ($d = 0,06$).
• Variação Teórica: A teoria específica utilizada teve um impacto negligenciável na precisão (variando de 50,9% a 58,8%), mas um impacto substancial no viés de resposta. O viés variou de altamente enviesado para a mentira (Abordagem da Verificabilidade em 32,2%) a altamente enviesado para a verdade (Teoria do Padrão de Verdade em 88,1%).
• Moderadores:
  • Efeitos de Conteúdo: A precisão e o viés variaram significamente com base no conjunto de dados. Por exemplo, a precisão para as transcrições de entrevistas de infidelidade variou em mais de 40 pontos percentuais entre as teorias, enquanto outros conjuntos de dados permaneceram estáveis.
  • Efeitos de Modelo: O modelo claude-sonnet-4-6 foi significativamente mais preciso e mais enviesado para a verdade do que os outros três LLMs.
• Esforço Cognitivo: As teorias com maior precisão de detecção (Detalhes e Complicações, Abordagem da Verificabilidade) foram associadas a justificativas de LLM contendo maiores taxas de termos de processamento cognitivo, sugerindo uma ligação entre o "esforço" do raciocínio gerado e a qualidade do julgamento.

Principais Contribuições

1. Desacoplamento da Discriminabilidade do Viés: O estudo demonstra que fornecer a uma IA uma estrutura teórica não melhora necessariamente sua capacidade de discriminar mentiras de verdades (diagnosticidade). Em vez disso, as teorias funcionam primordialmente como regras de decisão que alteram o viés de resposta do modelo. O tamanho do efeito para o viés ($\eta^2 = .11$) foi quase 40 vezes maior do que para a precisão ($\eta^2 = .003$).
2. Correspondência Teoria-Dados: Os resultados apoiam a hipótese de que teorias que dependem de pistas não verbais (ex: Leakage, Teoria dos Quatro Fatores) performam mal em tarefas puramente textuais, enquanto estruturas verbais (ex: Detalhes/Complicações, Verificabilidade) performam relativamente melhor. No entanto, mesmo as melhores teorias tiveram dificuldade em exceder significativamente os níveis de acaso neste contexto.
3. Teoria como Variável Experimental: O artigo introduz uma abordagem metodológica inovadora onde as teorias são tratadas como variáveis manipuláveis. Ao converter teorias em RAGs, os autores avaliaram milhares de julgamentos para observar como os princípios teóricos operam no processo de decisão da IA, efetivamente invertendo a tradicional relação de teste de teoria.
4. Análise Linguística Exploratória: O estudo fornece evidências iniciais de que os marcadores linguísticos de "esforço cognitivo" nas justificativas dos LLMs podem correlacionar-se com a qualidade dos julgamentos de decepção.

Significância e Alegações
Os autores concluem que a detecção de decepção por IA guiada por teoria é atualmente pouco confiável para uso forense ou aplicado. Embora os RAGs não tenham melhorado a precisão, eles ofereceram um mecanismo para reduzir ligeiramente o viés de verdade, o que pode ser valioso em cenários de verificação de fatos de alto volume, onde presumir a honestidade é um passivo.

O artigo enfatiza que a detecção de decepção com IA está "em sua infância". Os achados sugerem que simplesmente injetar conhecimento teórico em um LLM via RAG é insuficiente para superar as limitações fundamentais dos modelos atuais neste domínio. Os autores defendem pesquisas futuras que priorizem uma melhor correspondência teoria-dados (ex: usar dados audiovisuais para teorias não verbais) e uma investigação mais profunda sobre como os LLMs "pensam" através dos julgamentos de decepção. Eles alertam explicitamente contra a visão de que as ferramentas de IA atuais estão prontas para o uso profissional, observando que décadas de promessas no campo frequentemente encontraram "falsas promessas".