An Investigation of Linguistic Biases in LLM-Based Recommendations
Deze studie onderzoekt taalkundige vooroordelen in door LLM's gebaseerde aanbevelingen voor restaurants en producten in Zuid-Amerikaanse, Indiase en code-switchende Hindi-Engelse dialecten, waarbij wordt gebleken dat specifieke modelfamilies een verhoogde gevoeligheid vertonen voor Indiase-Engelse en code-switchende prompts, wat leidt tot duidelijke variaties in aanbevelingspatronen zonder consistente trends die uitsluitend op modelgrootte zijn gebaseerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een groep zeer slimme, digitale koks (de AI-modellen) hebt die experts zijn in het voorstellen van wat je moet eten of kopen. Je stelt hen exact dezelfde vraag: "Ik heb honger, wat is goed om te eten?" of "Ik heb een nieuw overhemd nodig, wat stel je voor?"
Maar hier is de draai: je stelt de vraag in drie verschillende "accenten" of spreekstijlen:
- Zuid-Amerikaans Engels: Zoals een vriendelijke buurman in het Zuiden.
- Indiaas Engels: Een specifieke manier waarop Engels in India wordt gesproken.
- Code-switched: Een mix van Engels en Hindi, zoals "Arre yaar, ik sterf van de honger!"
De onderzoekers wilden zien of deze digitale koks je verschillende antwoorden zouden geven, puur vanwege hoe je het vroeg, zelfs als wat je vroeg hetzelfde was. Ze behandelden de AI als een "cold start"-kok—wat betekent dat ze de AI geen geschiedenis gaven over je voorkeuren of afkeuringen uit het verleden, alleen de vraag en een lijst met opties.
Het Experiment: De "Menu"-test
De onderzoekers gaven de AI een lange, gebalanceerde lijst van 100 restaurants (de helft Amerikaans, de helft Indiaas) en 100 producten (zoals kleding, huishoudelijke artikelen of schoonheidsproducten). Ze vroegen de AI om zijn top 20 favorieten te kiezen op basis van het specifieke "accent" van de vraag. Ze deden dit honderden keren met verschillende lijsten om ervoor te zorgen dat de resultaten echt waren en niet slechts een toevalstreffer.
Wat ze vonden: Het "accent" maakt uit
De studie vond dat de "smaak" van de AI veranderde afhankelijk van het dialect, net zoals een mens misschien je voorkeuren zou raden op basis van je accent.
1. De Restaurantresultaten:
- Het Patroon: Wanneer er in Indiaas Engels of Code-switched (Hindi-Engels) werd gevraagd, was de AI veel waarschijnlijker om Indiaase restaurants aan te bevelen. Wanneer er in Zuid-Amerikaans Engels werd gevraagd, raadde het minder Indiaase restaurants aan.
- Het "Groot Brein"-effect: Het grootste geteste AI-model (Llama-3.1-70B) was het meest gevoelig voor deze accenten. Het was als een kok die, bij het horen van een specifiek accent, direct dacht: "Ah, deze persoon wil vast Indiaas eten", en er een bord van serveerde, ook al stond er niet expliciet in de vraag "Ik wil Indiaas eten".
- De "Slimste" Kok: Interessant genoeg waren de GPT-OSS-modellen (die bekend staan om hun uitstekende redeneervermogen) het minst beïnvloed door het accent. Ze leken de "smaak" van de woorden te negeren en zich meer te richten op de werkelijke betekenis, als een kok die zegt: "Je zei dat je honger hebt; hier is een gebalanceerde maaltijd van het hele menu", ongeacht hoe je het vroeg.
2. De Productresultaten:
- Het Patroon: De AI veranderde ook zijn winkeltips op basis van het accent.
- Code-switched prompts leidden vaak tot meer aanbevelingen voor Huishoudelijke, Sport- en Kleding-artikelen.
- Indiaas-Engelse prompts leidden vaak tot meer aanbevelingen voor Schoonheidsproducten.
- Grootte lost het niet altijd op: Meestal denken we dat grotere AI-modellen "slimmer" en minder vooroordeels zijn. Maar hier gedroegen de grotere modellen zich niet altijd beter. Soms waren de grote modellen gevoeliger voor het accent dan de kleine, en soms minder. Er was geen simpele regel dat "groter is beter" voor het oplossen van deze bias.
De Grote Conclusie
Het artikel concludeert dat deze AI-systemen niet alleen de betekenis van je woorden lezen; ze reageren ook op de stijl van je woorden.
Denk eraan als een ober die, bij het horen van een specifiek accent, ervan uitgaat dat je een specifiek type keuken wilt en het brengt voordat je zelfs maar bestelt. Hoewel dit soms nuttig kan zijn, waarschuwen de onderzoekers dat het een probleem kan zijn. Het betekent dat de AI aannames doet over wie je bent en wat je leuk vindt op basis van je taal, wat je keuzes kan beperken en stereotypen kan versterken.
Kortom: Als je een AI een vraag stelt in een ander dialect, kan het je een andere lijst met aanbevelingen geven, zelfs als je om precies hetzelfde vroeg. De AI luistert naar je "stem", niet alleen naar je "woorden".
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.