Why is "Chicago" Predictive of Deceptive Reviews? Using LLMs to Discover Language Phenomena from Lexical Cues

Technische Samenvatting: "Waarom is 'Chicago' Voorspellend voor Bedrieglijke Reviews?"

Probleemstelling
Bedrieglijke online reviews misleiden consumenten en ondermijnen het vertrouwen in marktplaatsen. Hoewel machine learning-classificators bedrieglijke reviews effectief kunnen onderscheiden van echte reviews met behulp van grote datasets, zijn de kenmerken waarop ze vertrouwen vaak subtiel, gefragmenteerd en voor mensen niet intuïtief. Zo kunnen classificators specifieke woorden zoals "Chicago" identificeren als sterk voorspellend voor bedrog in hotelreviews. Echter, zonder een uitleg waarom deze woorden voorspellend zijn, kunnen gebruikers moeite hebben om de logica van het model te interpreteren, wat mogelijk leidt tot verwarring of een verlies van vertrouwen in het systeem. De kernuitdaging bestaat uit het vertalen van deze niet-intuïtieve, machine-geleerde lexische signalen naar voor mensen begrijpelijke taalverschijnselen die zijn verankerd in data, in plaats van louter artefacten of hallucinaties te zijn.

Methodologie: Een Raamwerk van Conjectuur gevolgd door Validatie
De auteurs stellen een raamwerk voor waarbij Large Language Models (LLM's) fungeren als tolken om de kloof te overbruggen tussen voorspellende lexische signalen en voor mensen begrijpelijke uitleg. Het proces omvat drie hoofdfasen:

1. Identificatie van Kenmerken: Met behulp van een logistische regressie-classificator getraind op een dataset van Chicago-hotelreviews (800 echte, 800 bedrieglijke), identificeerden de auteurs de meest opvallende voorspellende woorden (zoals "Chicago", "luxe", "leek") die voor leken niet intuïtief overkwamen.
2. Generatie van Conjecturen: De auteurs gaven LLM's (waaronder GPT-5-mini, Haiku 4.5, Nova Pro en Gemini-2.5-flash) de opdracht om natuurlijke taalverklaringen ("conjecturen") te genereren over waarom deze specifieke woorden voorspellend zijn voor bedrog of echtheid. De prompt vroeg de LLM om onderliggende taalverschijnselen of psycholinguïstische patronen te identificeren die geassocieerd zijn met de woorden.
3. Algoritmische Validatie: Om ervoor te zorgen dat deze conjecturen geen hallucinaties waren, evalueerden de auteurs ze empirisch:
   • Voorspellende Kracht (RQ1): Ze testten of het verstrekken van deze geconjectureerde verschijnselen als context de prestaties van een LLM bij het classificeren van reviews als echt of bedrieglijk verbeterde, vergeleken met een zero-shot baseline.
   • Generaliseerbaarheid (RQ2): Ze trainden classificators op Chicago-data en testten ze op hotelreviews uit andere steden (Houston, New York, Los Angeles). Ze vergeleken de prestaties met behulp van standaard unigram TF-IDF-kenmerken versus kenmerken afgeleid van de door de LLM geconjectureerde verschijnselen.
   • Bronvergelijking (RQ3): Ze vergeleken verschijnselen die geconjectureerd waren op basis van voorspellende woorden met verschijnselen die geconjectureerd waren op basis van de voorkennis van de LLM of uit contextueel leren (gesamplede reviews).
4. Menselijke Evaluatie: Een crowdsourced studie (N=220) en een labstudie in persoon (N=8) beoordeelden hoe deze uitleg de redenering en het vertrouwen van gebruikers beïnvloedde. Deelnemers werden gevraagd om de geloofwaardigheid van reviews te beoordelen, waarbij ze óf alleen voorspellende woorden gemarkeerd kregen, óf de woorden vergezeld van de door de LLM geconjectureerde verschijnselen.

Belangrijkste Resultaten

• Voorspellende Kracht (RQ1): LLM's die werden voorzien van de geconjectureerde verschijnselen presteerden consequent beter dan zero-shot baselines bij het classificeren van bedrieglijke reviews. Dit geeft aan dat de gegenereerde verschijnselen echte, detecteerbare patronen in de data vastleggen in plaats van volledig gefabriceerd te zijn. Echter, zelfs met deze verschijnselen bleef de prestatie van LLM's lager dan die van een eenvoudige logistische regressie-classificator die ruwe tekstkenmerken gebruikte.
• Generalisatie (RQ2): Classificators die verschijnsel-gebaseerde kenmerken gebruikten, vertoonden superieure generalisatie naar data buiten de verdeling (reviews uit andere steden) in vergelijking met classificators die alleen unigram-kenmerken gebruikten. Bijvoorbeeld: terwijl het woord "Chicago" een sterke voorspeller is voor Chicago-reviews, is het niet voorspellend voor New York-reviews. Daarentegen bleef het verschijnsel "bedrieglijke reviews hebben de neiging om hotel- en stadsnamen te noemen" een geldige voorspeller over verschillende steden heen.
• Bron van Verschijnselen (RQ3): Verschijnselen die geconjectureerd waren op basis van de specifieke voorspellende woorden die door de classificator waren geïdentificeerd, waren aanzienlijk effectiever voor bedrogdetectie dan verschijnselen die uitsluitend waren geconjectureerd op basis van de voorkennis van de LLM of een kleine steekproef van reviews. Dit suggereert dat de gedistilleerde signalen van de classificator het redeneren van de LLM verankeren in subtiele, dataspecifieke patronen die anders moeilijk te infereren zijn.
• Menselijke Impact: In gebruikersstudies verschoof de focus van deelnemers die verschijnsel-gebaseerde uitleg ontvingen van gokken op basis van geïsoleerde woorden naar redeneren over hogere niveau patronen. Cruciaal was dat gebruikers de uitleg niet blindelings accepteerden; ze vergeleken ze met hun eigen heuristieken. Dit leidde tot "gekalibreerd vertrouwen", waarbij gebruikers selectief leunden op de redenering van het model in plaats van deze volledig te accepteren of af te wijzen.

Betekenis en Bijdragen
Het artikel claimt twee primaire bijdragen te leveren:

1. Raamwerk voor Interpretatie: Het stelt een raamwerk voor en valideert een "conjectuur-volgt-validatie"-raamwerk dat succesvol niet-intuïtieve, machine-geleerde lexische signalen vertaalt naar empirisch onderbouwde, voor mensen interpreteerbare taalverschijnselen. Deze aanpak gaat verder dan het simpelweg markeren van voorspellende woorden en richt zich op het uitleggen van de onderliggende taalkundige patronen.
2. Overbrugging van de Kloof in Vertrouwen: Het werk toont aan dat terwijl uitleg over kenmerkenbelang (het markeren van woorden) signalen identificeert, ze vaak falen om uit te leggen waarom die signalen belangrijk zijn. Door uitleg te genereren die deze signalen koppelt aan bredere patronen, verbetert de aanpak het begrip van gebruikers en ondersteunt het gekalibreerd vertrouwen in NLP-systemen.

De auteurs benadrukken dat hun doel niet is om een superieure bedrogdetector te bouwen, maar om de haalbaarheid te evalueren van het gebruik van LLM's om door het model geïdentificeerde kenmerken interpreteerbaar te maken. Ze merken op dat hoewel de gegenereerde verschijnselen empirisch onderbouwd zijn, ze mogelijk vereenvoudigde interpretaties vertegenwoordigen in plaats van volledige causale mechanismen, en dat toekomstig werk nodig is om de betrouwbaarheid van deze uitleg strenger te beoordelen.