Common to Whom? Regional Cultural Commonsense and LLM Bias in India
Dit paper introduceert Indica, het eerste benchmark voor India dat aantoont dat cultureel gezond verstand regionaal varieert in plaats van nationaal uniform is, en onthult dat grote taalmodellen hierbij aanzienlijke prestatieachterstanden en geografische bias vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De "Indië-Test": Waarom AI nog steeds denkt dat India één groot, gelijkmatig blok is
Stel je voor dat je een enorme, digitale kok hebt die alles over de wereld weet. Deze kok (een AI) heeft miljoenen recepten gelezen. Maar als je hem vraagt: "Wat eet men in India op een bruiloft?", geeft hij je één standaardantwoord. Hij denkt dat India één groot, eenduidig land is, net als een grote pizza met één smaak.
Maar in werkelijkheid is India meer als een gigantisch buffet met 28 verschillende staten, 8 gebieden en 22 talen. Wat in het Noorden gegeten wordt, is in het Zuiden misschien compleet anders.
Dit is precies wat onderzoekers van de Emory University en MIT hebben ontdekt met hun nieuwe onderzoek, genaamd INDICA. Hier is het verhaal, vertaald in simpele taal met een paar creatieve vergelijkingen.
1. Het Probleem: De "Grote Brok" Verkeerd Begrepen
Tot nu toe hebben wetenschappers AI getest alsof elk land één groot, gelijkmatig blok is. Ze dachten: "Als een AI weet hoe het in Frankrijk is, dan weet hij het ook over heel Frankrijk."
Maar in landen als India (en ook China of Brazilië) klopt dit niet. De cultuur verandert drastisch als je van de ene stad naar de andere reist.
- De metafoor: Het is alsof je denkt dat alle Amerikanen hetzelfde eten. Maar in Texas eten ze BBQ, in New York pizza, en in Hawaï poke. Als je AI denkt dat "Amerikaans eten" alleen BBQ is, mis je de helft van het verhaal.
2. De Oplossing: De INDICA-Test
De onderzoekers hebben een nieuwe test gemaakt, INDICA. Ze hebben 515 vragen bedacht over alledaagse dingen, zoals:
- "Wat geef je als cadeau aan pasgeboren ouders?"
- "Hoe kies je een gelukkige datum voor een bruiloft?"
- "Wat is de juiste manier om iemand te begroeten?"
Ze vroegen dit aan echte mensen in vijf verschillende regio's van India: Noord, Zuid, Oost, West en Centraal.
Het verrassende resultaat:
Alleen in 39% van de gevallen waren alle vijf de regio's het eens.
- Voorbeeld: Als je in het Zuiden een baby cadeau doet, krijg je vaak een armbandje. In het Noorden geven ze sieraad. In het Oosten geven ze kleding.
- De AI dacht dat er maar één "juist" antwoord was. De mensen wisten dat het antwoord afhangt van waar je woont.
3. Wat deed de AI? (De "Centraal-India" Bias)
Toen de onderzoekers de slimste AI-modellen (zoals GPT-5, Claude en Gemini) deze vragen stelden, zagen ze twee grote problemen:
A. De AI is een oppervlakkige kenner
De AI kon het grote plaatje wel zien (bijvoorbeeld: "cadeaus geven is belangrijk"), maar miste de details. Het gaf vaak antwoorden die deels klopten, maar te vaag waren of extra onzin toevoegden. Het was alsof iemand die nooit in Italië is geweest, zegt: "In Italië eten ze pasta," terwijl hij vergeet dat in het noorden ze rijst eten en in het zuiden ze vis eten.
B. De AI heeft een "voorkeur" voor het Noorden en het Midden
Dit is het meest opvallende. Als de AI niet wist waar in India de vraag vandaan kwam, koos hij bijna altijd het antwoord dat in Centraal-India of Noord-India gebruikelijk is.
- De metafoor: Stel je voor dat je een radio hebt die altijd op het station van de hoofdstad staat, zelfs als je in een dorp in het zuiden woont. De AI denkt dat het "Noord-Indiaans" de standaard is voor heel India.
- Waarom? Omdat er veel meer teksten op het internet in het Hindi (de taal van het Noorden/Centrum) staan dan in de talen van het Oosten of Westen. De AI heeft dus meer "gegeten" van het Noorden dan van de rest.
4. Waarom is dit belangrijk?
Dit onderzoek laat zien dat we AI niet kunnen behandelen alsof landen één groot, saai blok zijn.
- Als je een chatbot gebruikt voor een bruiloft in Kerala (Zuid-India), en die bot geeft je advies gebaseerd op gewoonten uit Delhi (Noord-India), dan is dat niet alleen fout, maar ook respectloos.
- De AI moet leren dat "cultuur" niet op een landkaart stopt, maar dat het verandert met elke regio.
Conclusie: De AI moet zijn "bril" afzetten
De boodschap van dit onderzoek is simpel: Cultuur is lokaal, niet nationaal.
De AI's zijn momenteel als een toerist die denkt dat hij heel India kent omdat hij één keer in New Delhi is geweest. Ze moeten leren dat India (en andere grote landen) een mozaïek is van duizenden verschillende stukjes. Om echt slim en respectvol te zijn, moet AI leren kijken naar de specifieke regio, niet alleen naar het land als geheel.
Kort samengevat:
- Huidige AI: Denkt dat India één groot, gelijkmatig blok is.
- Realiteit: India is een kleurrijk mozaïek van 28 staten met verschillende gewoonten.
- Gevolg: AI maakt vaak fouten en negeert de zuidelijke en oostelijke cultuur, omdat ze te veel gebaseerd zijn op het noorden.
- Oplossing: We moeten AI testen op regio's, niet op landen, zodat ze eindelijk de echte diversiteit begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.