Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

Technische Samenvatting: Argumenten die Geesten Veranderen: LLM-Rationales Beïnvloeden Menselijke (en LLM) Opvattingen van Plausibiliteit

Probleemstelling
Benchmarks voor commonsense-redeneren (bijv. Social IQA, CommonsenseQA) evalueren modellen doorgaans door te vragen welk antwoord het meest plausibel is uit meerdere opties. In tegenstelling tot logische of wiskundige problemen, bestaan deze antwoorden op een continuüm van plausibiliteit in plaats van definitief waar of onwaar te zijn. Hoewel menselijke annotatoren traditioneel als "experts" in dit domein worden beschouwd, onderzoekt dit artikel of Large Language Models (LLMs) argumenten (rationales) kunnen genereren die de menselijke en LLM-oordelen over de plausibiliteit van deze antwoordkeuzes systematisch veranderen. Specifiek vragen de auteurs zich af of door LLM gegenereerde "PRO" (ondersteunende) en "CON" (weerleggende) rationales de menselijke plausibiliteitsratings kunnen beïnvloeden, zelfs in domeinen waar mensen over sterke intuïtieve kennis beschikken.

Methodologie
De studie bouwt voort op een eerder plausibiliteitsbeoordelingskader (Palta et al., 2024) met behulp van twee datasets: Social IQA (SIQA) en CommonsenseQA (CQA).

1. Dataconstructie: De auteurs selecteerden 100 vragen (50 uit elk dataset). Voor elke vraag selecteerden zij het gouden label (het juiste antwoord) en een willekeurig geselecteerde distractor (het onjuiste antwoord).
2. Generatie van Rationales: Met behulp van GPT-4o (geselecteerd via een voorkeursonderzoek vanwege het vermogen om overtuigende argumenten te genereren), genereerden de auteurs drie soorten rationales voor elk (vraag, antwoord)-paar:
   • PRO: Een argument dat de plausibiliteit van het antwoord ondersteunt.
   • CON: Een argument dat de onplausibiliteit van het antwoord ondersteunt.
   • PRO+CON: Beide argumenten gepresenteerd samen.
3. Menselijke Evaluatie: De auteurs verzamelden 3.000 nieuwe menselijke plausibiliteitsoordelen (met behulp van een 1–5 Likert-schaal: Onmogelijk tot Zeer Waarschijnlijk) over vier condities: Geen Rationale, PRO, CON en PRO+CON.
4. LLM-Evaluatie: Parallel hieraan werden 17 verschillende LLMs (verdeeld in OpenAI- en Non-OpenAI-families) geprompt om de plausibiliteit van dezelfde items onder dezelfde vier condities te beoordelen, wat resulteerde in 13.600 oordelen.
5. Analyse: De studie vergeleek gemiddelde plausibiliteitsratings over de condities en voerde Ordinary Least Squares (OLS) regressie uit om factoren te identificeren (bijv. initiële rating, type rationale) die de veranderingen in scores aansturen.

Belangrijkste Resultaten

• Beïnvloedingseffect: Zowel menselijke als LLM-plausibiliteitsoordelen worden significant beïnvloed door de aanwezigheid van rationales. PRO-rationales verhogen over het algemeen de gemiddelde ratings, terwijl CON-rationales deze verlagen.
• Bimodale Menselijke Respons op PRO-rationales: Een cruciale bevinding is de uiteenlopende reactie op PRO-rationales op basis van het type antwoord. Voor distractor (onjuiste) antwoorden slaagden PRO-rationales erin de menselijke gemiddelde ratings te verhogen. Echter, voor gouden (correcte) antwoorden verlaagden PRO-rationales verrassend genoeg de menselijke gemiddelde ratings. De auteurs suggereren dat dit kan komen door de Griceaanse Maxima van Kwantiteit, waarbij mensen de noodzaak van een argument interpreteren als een signaal dat het feit niet vanzelfsprekend is, waardoor de evidentie van het correcte antwoord wordt "onderschat".
• LLM-Gevoeligheid: LLMs vertoonden ook significante verschuivingen in ratings. In tegen tegenstelling tot mensen, verhoogden LLMs over het algemeen hun ratings voor gouden labels wanneer zij werden geconfronteerd met PRO-rationales. OpenAI-modellen leken gevoeliger voor de door GPT-4o gegenereerde rationales dan Non-OpenAI-modellen, wat mogelijk wijst op een zelfvoorkeursbias.
• Verankeringseffect (Anchoring Effect): Regressieanalyse onthulde een sterk verankeringseffect: hoe hoger de initiële plausibiliteitsrating van een antwoord, hoe kleiner de daaropvolgende verandering na de introductie van een rationale. Dit effect was meer uitgesproken voor distractors dan voor gouden labels, wat suggerend is dat initiële oordelen over onjuiste antwoorden rigider zijn.
• CON-Dominantie: CON-rationales oefenden een sterkere negatieve invloed uit op ratings dan PRO-rationales een positieve invloed konden uitoefenen. Wanneer PRO en CON samen werden gepresenteerd, had het tegenovergestelde component de neiging te domineren, wat vaak resulteerde in een netto afname van de plausibiliteitsratings.
• Rationale Lengte: De lengte van de rationale (woordenaantal) vertoonde geen significante lineaire relatie met de omvang van de ratingveranderingen.

Betekenis en Claims
Het artikel claimt aan te tonen hoe een nieuw gebruik van LLMs dient voor het bestuderen van aspecten van de menselijke cognitie, specifits hoe externe argumenten de vorming van overtuigingen beïnvloeden in commonsense-redeneren. De auteurs benadrukken de volgende implicaties:

• Kwetsbaarheid van het Menselijk Oordeel: Zelfs in domeinen waar mensen als "experts" worden beschouwd (dagelijks gezond verstand), kunnen door LLM gegenereerde argumenten menselijke overtuigingen aanzienlijk beïnvloeden. Dit roept zorgen op over het potentieel voor overtuigende manipulatie, aangezien gebruikers de plausibiliteit van een LLM-argument boven hun eigen kennis kunnen verkiezen.
• Alignment-uitdagingen: De studie onderstreept de moeilijkheid om AI-gegenereerde oordelen af te stemmen op menselijke intuïtie, vooral bij subjectieve redeneertaken waarbij mensen en LLMs verschillend reageren op dezelfde stimuli (bijv. het bimodale effect op gouden labels).
• Veiligheid en Samenwerking: De bevindingen suggereren dat LLMs effectief menselijk oordeel kunnen sturen naar meer impliciete inferenties. Dit benadrukt een kritieke kwetsbaarheid in mens-AI-samenwerking, wat maatregelen vereist zoals transparantie en bias-mitigatie om schadelijk manipulatief gebruik te voorkomen.
• Methodologische Bijdrage: Het werk levert empirisch bewijs dat LLM-rationales de waargenomen plausibiliteit van commonsense-scenario's kunnen veranderen, wat de aanname uitdaagt dat menselijke intuïtie in deze domeinen immuun is voor algoritmische invloed.

De auteurs blijven bescheiden over de reikwijdte en merken op dat hun bevindingen specifiek zijn voor Engelstalige commonsense-datasets en dat de overtuigingskracht kan variëren tussen verschillende modellen, talen en meer beperkte domeinen (bijv. juridisch of wetenschappelijk redeneren).