Why is "Chicago" Predictive of Deceptive Reviews? Using LLMs to Discover Language Phenomena from Lexical Cues

Resumo Técnico: "Por que 'Chicago' é Preditivo de Avaliações Enganosas?"

Declaração do Problema
Avaliações online enganosas induzem os consumidores a erro e minam a confiança nos mercados. Embora classificadores de aprendizado de máquina possam distinguir efetivamente avaliações enganosas de genuínas usando grandes conjuntos de dados, os recursos em que se baseiam são frequentemente sutis, fragmentados e pouco intuitivos para humanos. Por exemplo, classificadores podem identificar palavras específicas como "Chicago" como altamente preditivas de falsidade em avaliações de hotéis. No entanto, sem uma explicação de por que essas palavras são preditivas, os usuários podem ter dificuldade em interpretar a lógica do modelo, potencialmente levando à confusão ou à perda de confiança no sistema. O desafio central é traduzir essas pistas lexicais aprendidas por máquinas, mas pouco intuitivas, em fenômenos linguísticos compreensíveis por humanos, fundamentados em dados e não sendo meros artefatos ou alucinações.

Metodologia: Um Framework de Conjectura-Depois-Validar
Os autores propõem um framework onde Modelos de Linguagem de Grande Escala (LLMs) atuam como intérpretes para preencher a lacuna entre pistas lexicais preditivas e explicações compreensíveis por humanos. O processo envolve três etapas principais:

1. Identificação de Recursos: Usando um classificador de regressão logística treinado em um conjunto de dados de avaliações de hotéis em Chicago (800 genuínas, 800 enganosas), os autores identificaram as palavras preditivas mais salientes (por exemplo, "Chicago", "luxo", "parecia") que pareciam pouco intuitivas para leigos.
2. Geração de Conjecturas: Os autores solicitaram aos LLMs (incluindo GPT-5-mini, Haiku 4.5, Nova Pro e Gemini-2.5-flash) que gerassem explicações em linguagem natural ("conjecturas") sobre por que essas palavras específicas são preditivas de falsidade ou genuinidade. O prompt pediu ao LLM para identificar fenômenos linguísticos subjacentes ou padrões psicolinguísticos associados às palavras.
3. Validação Algorítmica: Para garantir que essas conjecturas não fossem alucinações, os autores as avaliaram empiricamente:
   • Preditividade (PQ1): Eles testaram se fornecer essas fenômenos conjecturados como contexto melhorava a capacidade de um LLM de classificar avaliações como genuínas ou enganosas em comparação com uma linha de base zero-shot.
   • Generalização (PQ2): Eles treinaram classificadores em dados de Chicago e os testaram em avaliações de hotéis de outras cidades (Houston, Nova York, Los Angeles). Eles compararam o desempenho usando recursos TF-IDF de unigramas padrão versus recursos derivados dos fenômenos conjecturados pelo LLM.
   • Comparação de Fontes (PQ3): Eles compararam fenômenos conjecturados a partir de palavras preditivas contra fenômenos conjecturados a partir do conhecimento prévio do LLM ou de aprendizado em contexto (avaliações amostradas).
4. Avaliação Humana: Um estudo crowdsourced (N=220) e um estudo de laboratório presencial (N=8) avaliaram como essas explicações afetaram o raciocínio e a confiança dos usuários. Os participantes foram convidados a julgar a credibilidade de uma avaliação com apenas palavras preditivas destacadas ou com as palavras acompanhadas dos fenômenos conjecturados pelo LLM.

Principais Resultados

• Poder Preditivo (PQ1): LLMs fornecidos com os fenômenos conjecturados superaram consistentemente as linhas de base zero-shot na classificação de avaliações enganosas. Isso indica que os fenômenos gerados capturam padrões reais e detectáveis nos dados, em vez de serem totalmente fabricados. No entanto, mesmo com esses fenômenos, o desempenho do LLM permaneceu inferior ao de um classificador simples de regressão logística usando recursos de texto brutos.
• Generalização (PQ2): Classificadores usando recursos baseados em fenômenos demonstraram superioridade na generalização para dados fora da distribuição (avaliações de outras cidades) em comparação com classificadores usando apenas recursos de unigramas. Por exemplo, enquanto a palavra "Chicago" é um forte preditor para avaliações de Chicago, não é preditiva para avaliações de Nova York. Em contraste, o fenômeno "avaliações enganosas tendem a citar nomes de hotéis e cidades" permaneceu um preditor válido em diferentes cidades.
• Fonte dos Fenômenos (PQ3): Fenômenos conjecturados com base nas palavras preditivas específicas identificadas pelo classificador foram significativamente mais eficazes para detecção de falsidade do que fenômenos conjecturados apenas com base no conhecimento prévio do LLM ou em uma pequena amostra de avaliações. Isso sugere que os sinais destilados pelo classificador ancoram o raciocínio do LLM em padrões sutis e específicos dos dados que são difíceis de inferir de outra forma.
• Impacto Humano: Nos estudos com usuários, participantes fornecidos com explicações baseadas em fenômenos mudaram de palpites baseados em palavras isoladas para raciocinar sobre padrões de nível superior. Crucialmente, os usuários não aceitaram cegamente as explicações; eles as compararam com seus próprios heurísticos. Isso levou a uma "confiança calibrada", onde os usuários confiaram seletivamente no raciocínio do modelo em vez de aceitá-lo ou rejeitá-lo totalmente.

Significado e Contribuições
O artigo afirma fazer duas contribuições principais:

1. Framework para Interpretabilidade: Propõe e valida um framework de "conjectura-Depois-Validar" que traduz com sucesso pistas lexicais aprendidas por máquinas, mas pouco intuitivas, em fenômenos linguísticos fundamentados empiricamente e interpretáveis por humanos. Essa abordagem vai além de simplesmente destacar palavras preditivas para explicar os padrões linguísticos subjacentes.
2. Ponte na Lacuna de Confiança: O trabalho demonstra que, embora explicações de importância de recursos (destacar palavras) identifiquem sinais, elas frequentemente falham em explicar por que esses sinais importam. Ao gerar explicações que conectam esses sinais a padrões mais amplos, a abordagem melhora a compreensão do usuário e apoia a confiança calibrada em sistemas de PLN.

Os autores enfatizam que seu objetivo não é construir um detector de falsidade superior, mas avaliar a viabilidade de usar LLMs para tornar recursos identificados por modelos interpretáveis. Eles observam que, embora os fenômenos gerados sejam fundamentados empiricamente, eles podem representar interpretações simplificadas em vez de mecanismos causais completos, e trabalhos futuros são necessários para avaliar a fidelidade dessas explicações com mais rigor.