The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models
Dit artikel introduceert CulShield, de eerste benchmark die 77 landen en meer dan 2.000 taboes beslaat om de veiligheid met betrekking tot culturele taboes in grote taalmodellen te evalueren, waarbij een significante "kennis-gedragskloof" wordt onthuld waarbij modellen weliswaar over culturele kennis beschikken, maar er niet in slagen deze toe te passen in impliciete, contextafhankelijke interacties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligent robot leert hoe hij een goede gast moet zijn op een dinerfeestje. Je zou hem niet alleen de namen van de gerechten leren (kennis); je zou hem ook moeten leren om niet het eten van het bord van de gastheer te eten, zelfs als hij uitgehongerd is (gedrag). Dit is de wereld van Large Language Models (LLM's), de AI-hersenen achter chatbots en assistenten. Deze modellen zijn als digitale encyclopedieën die in bijna elke taal kunnen chatten, maar ze worstelen momenteel met een lastige sociale regel: culturele taboes. Een cultureel taboe is als een onzichtbaar "niet aanraken"-bordje in een specifieke cultuur. In sommige plaatsen is bijvoorbeeld een groene hoed een modieuze keuze, terwijl het elders een enorme belediging is die suggereert dat je partner ontrouw is. Als een robot het verschil niet weet, kan hij per ongeluk een gast beledigen, een gesprek verpesten of zelfs echte problemen in de echte wereld veroorzaken. De grote vraag die onderzoekers stellen is: alleen omdat een robot de regels kent, volgt hij ze dan ook daadwerkelijk wanneer de druk hoog is?
Dit artikel, getiteld "The 'Knowledge–Behavior Gap' in Cultural Taboo Safety of Large Language Models," duikt direct in die rommelige realiteit. De auteurs, een team van de Fudan Universiteit en Huawei, realiseerden zich dat hoewel we genoeg tests hebben om te zien of robots culturele feiten kennen, we geen goede manieren hebben om te testen of ze daadwerkelijk veilig kunnen handelen wanneer een culturele valstrik verborgen zit in een onschuldige vraag. Om dit op te lossen, bouwden ze een nieuwe testomgeving genaamd CulShield. Denk aan CulShield als een enorme, multiculturele "mysteriebox" met meer dan 2.000 verschillende culturele taboes uit 77 landen en territoria. Ze vroegen de robots niet simpelweg: "Weet je dat groene hoeden slecht zijn in China?" (wat makkelijk is). In plaats daarvan creëerden ze "culturele valstrikken"—vragen die volkomen onschuldig klinken, maar eigenlijk ontworpen zijn om de robot te misleiden door een taboe te verbreken. Ze zouden bijvoorbeeld kunnen vragen: "Ik plan een verrassingsfeestje voor mijn Chinese vriend; wat is een leuke, kleurrijke hoed die ik hem kan geven?" Een robot die wel kennis heeft maar geen gedragsmatige vangrails, zou kunnen zeggen: "Zeker, een groene!" zonder te beseffen welke sociale ramp hij daarmee veroorzaakt.
De onderzoekers testten enkele van de meest geavanceerde robots die beschikbaar zijn, waaronder GPT-4o-mini en Gemini-2.5-pro, met behulp van deze nieuwe benchmark. Wat ze vonden, was een beetje alsof je ontdekt dat een student die het geschiedenisonderwijs met vlag en wimpel heeft afgerond, toch de weg kwijtraakt in de gang van de school. Ze ontdekten een duidelijke "knowledge–behavior gap" (kennis-gedragskloof). De robots kenden de regels vaak perfect wanneer ze er direct naar werden gevraagd, maar wanneer de regels verborgen waren in een slimme vraag, faalden ze er vaak in die kennis toe te passen. Het is alsof de hersenen van de robot de kaart kenden, maar de voeten weigerden het juiste pad te bewandelen.
Een andere verrassende ontdekking was hoe de taal die in de vraag werd gebruikt, het gedrag van de robot veranderde. De studie suggereert dat de taal werkt als een "culturele lens". Wanneer de robots vragen in het Engels kregen, waren ze eerder geneigd om in de val te trappen bij culturele valstrikken die gerelateerd zijn aan culturen die dicht bij de Engelstalige normen liggen. Echter, wanneer de vragen in het Spaans of Chinees waren, veranderde hun gedrag; soms werden ze voorzichtiger, soms juist minder. Het blijkt dat het spreken van een taal niet betekent dat de robot de cultuur erachter volledig begrijpt.
Om te zien of ze dit konden oplossen, probeerde het team de robots te "trainen" met nieuwe data die hen expliciet leerde hoe ze deze lastige verzoeken beleefd moeten weigeren. Hoewel dit de robots hielp om beter te worden in het herkennen van de valstrikken, had het een bijeffect: de robots werden te gevoelig. Ze begonnen onschuldige vragen te weigeren om maar veilig te zijn, zoals een beveiliger die iedereen een gebouw weigert te laten betreden omdat ze misschien een broodje bij zich hebben. Om dit op te lossen, mengden de onderzoekers data over algemene menselijke waarden (uit de World Values Survey) om de robots te helpen een balans te vinden. De resultaten lieten zien dat deze mix de robots veiliger maakte zonder dat ze overdreven paranoïde werden.
Kortom, dit artikel suggereert dat het onderwijzen van een AI om cultureel veilig te zijn niet alleen gaat over het voeren van meer feiten. Het gaat erom de AI te trainen om de verborgen sociale mijnenvelden in alledaagse gesprekken te herkennen en met de juiste mate van voorzichtigheid te handelen, ongeacht de taal waarin gesproken wordt. De auteurs geven toe dat hun nieuwe benchmark, CulShield, nog niet perfect is—het dekt nog niet elke cultuur op aarde—maar het is een cruciale eerste stap om onze digitale gasten de regels van het wereldwijde dinerfeestje te leren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.