What Helps Language Models Predict Human Beliefs: Demographics or Prior Stances?
Deze studie evalueert hoe grote taalmodellen menselijke overtuigingen voorspellen met behulp van demografische gegevens en eerdere standpunten, waarbij wordt vastgesteld dat hoewel het combineren van beide soorten informatie de beste resultaten oplevert, hun relatieve voorspellende waarde aanzienlijk varieert over verschillende domeinen van overtuigingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert te raden wat een vreemde denkt over een specife onderwerp, zoals of ze in spoken geloven of of ze de voorkeur geven aan katten boven honden. Je hebt twee belangrijke manieren om die gok te wagen:
- De "Wie Ze Zijn" Aanwijzing: Je kijkt naar hun achtergrond. Zijn ze jong of oud? Man of vrouw? Wonen ze in een stad of op een boerderij? Wat is hun religie of politieke partij?
- De "Wat Ze Eerder Hebben Gezegd" Aanwijzing: Je kijkt naar een lijst van andere dingen waar ze eerder mee hebben ingestemd of waar ze het niet mee eens waren. Bijvoorbeeld, als iemand eerder heeft gezegd: "Ik haat pittig eten," dan raad je dat ze een nieuw pittig gerecht waarschijnlijk ook niet lekker zullen vinden.
Dit artikel stelt een eenvoudige vraag: Welke van deze twee aanwijzingen helpt een computer (specifiek een Large Language Model, of LLM) om menselijke overtuigingen beter te raden?
Het Experiment: Een Digitaal Debatclubje
De onderzoekers gebruikten een gigantisch archief van een online debatwebsite genaamd Debate.org. Denk aan dit als een enorme bibliotheek van argumenten waar miljoenen mensen "Ja" of "Nee" hebben gestemd op duizenden onderwerpen, variërend van serieuze kwesties zoals "Is klimaatverandering echt?" tot leuke vragen zoals "Is Batman beter dan Superman?"
Ze namen 9 verschillende AI-modellen (de "raadsels") en gaven ze een uitdaging: Voorspel hoe een specifieke gebruiker zou stemmen op een nieuw onderwerp.
Om te zien wat het beste werkte, voerden ze de experimenten vier keer uit voor elke gebruiker:
- De Blinde Gok: De AI wist niets over de gebruiker. De AI gokte simpelweg op basis van wat de gemiddelde persoon vindt.
- De Achtergrondcontrole: De AI kende de leeftijd, het geslacht, de politieke voorkeur en de religie van de gebruiker, maar wist niets over wat zij eerder geloofden.
- De Geschiedeniscontrole: De AI kende een lijst van dingen waar de gebruiker eerder al over heeft gestemd, maar wist niets over hun achtergrond.
- Het Volledige Pakket: De AI kende zowel de achtergrond als de geschiedenis.
De Resultaten: Het Hangt Af van het Onderwerp
De studie toonde aan dat er niet één "beste" manier is om te raden. Het hangt er volledig vanaf waarover je iets probeert te raden.
1. De "Identiteit" Onderwerpen (Politiek, Religie, Samenleving)
- Analogie: Stel je voor dat je probeert te raden of iemand een specifieke politieke partij steunt.
- Wat werkte: Weten wie ze zijn (demografie) was hier ongelooflijk krachtig. Als je weet dat iemand een 25-jarige liberaal is die in een stad woont, kan de AI een zeer goede gok doen over hun politieke opvattingen, zelfs zonder hun eerdere stemmen te kennen.
- Waarom: Deze overtuigingen zijn nauw verbonden met sociale groepen en identiteit. De AI leerde dat mensen met een vergelijkbare achtergrond vaak hetzelfde denken.
2. De "Persoonlijke Smaak" Onderwerpen (Sport, Entertainment, Auto's, Reizen)
- Analogie: Stel je voor dat je probeert te raden of iemand de film The Avengers leuk vindt of het team The Lakers.
- Wat werkte: Weten wat ze eerder hebben gezegd (eerdere overtuigingen) was de winnaar. Weten dat iemand een "25-jarige man" is, hielp niet veel. Maar als de AI wist dat ze eerder "Ja" hadden gestemd op "Ik hou van superheldenfilms," kon de AI gemakkelijk raden dat ze ook "Ja" zouden stemmen op een nieuwe superheldenfilm.
- Waarom: Deze voorkeuren zijn idiosyncratisch (uniek voor het individu). Ze worden gevorm de persoonlijke ervaringen en specifieke interesses, niet alleen door leeftijd of geslacht.
3. Het "Volledige Pakket" (Beide Aanwijzingen)
- In de meeste gevallen gaf het de AI de beste resultaten als ze zowel de achtergrondinformatie als de geschiedenis kregen. Het is also wordt een volledig dossier over een persoon.
- Echter, soms maakte het toevoegen van de tweede aanwijzing de AI juist slechter in het raden. Bijvoorbeeld, als de AI al goed was in het raden van een sportvoorkeur op basis van eerdere stemmen, maakte het toevoegen van de leeftijd van de gebruiker de AI soms in de war en verlaagde dit de nauwkeurigheid.
De Belangrijkste Conclusie
Het paper concludeert dat AI-modellen steeds beter worden in het begrijpen van hoe menselijke overtuigingen met elkaar verbonden zijn, maar ze zijn niet perfect.
- Ze zijn goed in "Groepsdenken": Ze kunnen gemakkelijk overtuigingen voorspellen die verbonden zijn aan sociale identiteit (zoals politiek), omdat ze miljoenen mensen met vergelijkbare achtergronden vergelijkbare dingen hebben zien zeggen.
- Ze zijn beter in "Persoonlijke Patronen": Ze zijn verrassend goed in het leggen van verbanden tussen wat een persoon eerder heeft gezegd en wat diegene hierna zou kunnen zeggen, vooral bij hobby's en entertainment.
- De Limiet: Zelfs met alle informatie is de AI geen gedachtenlezer. Het maakt nog steeds fouten omdat menselijke overtuigingen niet altijd logisch zijn, en mensen niet altijd consistent zijn.
Kortom: Als je wilt dat een AI je politieke voorkeur raadt, vertel het dan wie je bent. Als je wilt dat het je favoriete film raadt, laat het dan zien wat je eerder leuk vond. En als je het beide geeft, doet de AI meestal zijn beste werk — tenzij de extra informatie de zaak alleen maar ingewikkelder maakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.