Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs
Dit artikel introduceert J-PragEval-v0, een minimal-pair benchmark voor Japanse pragmatische fenomenen, en gebruikt linear probing en activation steering op een 1.5B tweetalig model om aan te tonen dat hoewel beleefdheidsvormen lineair decodeerbaar zijn in residual streams, andere pragmatische contrasten zoals impliciete subjecten en in-group referentie worden opgelost tijdens de generatie in plaats van opgeslagen te worden bij de prompt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal is meer dan een verzameling woorden en grammaticale regels; het is een levend systeem van sociale signalen, ongeschreven afspraken en culturele context. Wanneer iemand Japans spreekt, navigeert diegene voortdurend door een complexe kaart van relaties, waarbij wordt bepaald wie binnen de eigen vertrouwenskring valt en wie daarbuiten, en waarbij woorden worden gekozen die precies reflecteren hoe men over de aangesprokene denkt. Dit is het domein van de pragmatiek, de studie naar hoe context betekenis vormt. Decennialang heeft kunstmatige intelligentie uitblinkend vertaald en vragen beantwoord, maar het struikelt vaak wanneer het gevraagd wordt deze subtiele sociale lagen te begrijpen. Een computer kan de woordenboekdefinitie van een beleefde frase kennen, maar weet vaak niet wanneer hij deze moet gebruiken, of erger nog, gebruikt haar op een manier die voor een menselijke luisteraar onbeleefd of vreemd klinkt. Deze kloof is bijzonder groot voor het Japans, een taal waarin de relatie tussen sprekers de zeer structuur van de zin dicteert. Terwijl onderzoekers kleinere, efficiëntere computermodellen bouwen die ontworpen zijn om op alledaagse apparaten te draaien, is er een kritische vraag ontstaan: begrijpen deze compacte modellen daadwerkelijk de culturele regels van de talen die zij spreken, of imiteren ze slechts de oppervlakkige patronen?
Een recente studie door de onafhankelijke onderzoeker Florian Braun pakt deze vraag aan door in een klein, tweetalig computermodel te kijken dat zowel Engels als Japans spreekt. Het onderzoek richt zich op een specifiek type kunstmatige intelligentie dat bekend staat als een klein taalmodel (small language model), dat ontworpen is om krachtig genoeg te zijn voor nuttige taken, maar licht genoeg om te draaien zonder massieve, energieverslindende servers. Hoewel deze modellen steeds gebruikelijker worden in Japan, worden ze vaak alleen getest op hoe goed ze tekst vertalen of leesvaardigheidstoetsen beantwoorden. Deze standaardtests missen echter het moeilijkste deel van menselijke communicatie: het vermogen om de ruimte te lezen. Om dit op te lossen, creëerde de onderzoeker een nieuwe testomgeving genaamd J-PragEval. In plaats van het model te vragen een zin te vertalen, presenteert deze test het model met twee bijna identieke scenario's die alleen verschillen in één sociaal detail, zoals of de spreker tegen een baas of een vriend praat. Het model moet vervolgens de juiste manier kiezen om de zin af te maken op basis van dat sociale detail. De test behandelt vier specifieke gebieden van het Japanse sociale leven: het gebruik van eerbiedige vormen (honorifics) om respect te tonen, het vermogen om te raden over wie er gesproken wordt wanneer het onderwerp uit de zin is weggelaten, de keuze van werkwoorden die aangeven of iemand een insider of een outsider is, en de kunst om een verzoek beleefd af te wijzen zonder een direct "nee" te zeggen.
De onderzoeker keek vervolgens in het computermodel, dat 28 lagen van verwerking heeft, om te zien waar het de kennis opslaat die nodig is om deze tests te halen. Met behulp van een methode die werkt als een microscoop voor de interne gedachten van het model, bestudeerde de studie de activiteit van het model in verschillende stadia van verwerking. De resultaten onthulden een verrassende splitsing in hoe het model deze sociale regels afhandelt. Voor het gebruik van eerbiedige vormen gedraagt het model zich als een goed georganiseerde bibliotheek. De informatie over welk niveau van beleefdheid gebruikt moet worden, is duidelijk opgeslagen in een specifieke laag van het model, en een eenvoudige controle kan deze met bijna 96 procent nauwkeurigheid vinden. Het model kent de regel en houdt die regel gereed om te gebruiken. Echter, het beeld verandert voor de andere sociale regels. Wanneer het model moest beslissen over wie er werd gesproken in een zin met een weggelaten onderwerp, of de juiste werkwoorden moest kiezen voor een insider versus een outsider, konden de onderzoekers op het moment dat het model de prompt klaar had, geen duidelijke, statische herinnering aan deze regels in het model vinden. De interne signalen waren te zwak om door de standaardcontrole gedetecteerd te worden. Toch, wanneer het model daadwerkelijk een antwoord genereerde, maakte het in 77 tot 79 procent van de gevallen de juiste keuze. Dit suggereert dat het model niet simpelweg een opgeslagen regel ophaalt voor deze taken; in plaats daarvan rekent het de sociale context ter plekke uit terwijl het de zin woord voor woord opbouwt.
De studie onthulde ook een valstrik in de manier waarop we deze modellen testen. Een van de vier tests, die zich richtte op indirecte weigeringen, leek aanvankelijk te laten zien dat het model de vaardigheid onder de knie had, met een detectiescore van 95 procent. Echter, toen de onderzoeker nauwkeuriger keek naar hoe het model zich daadwerkelijk gedroeg, bleek dat het model deze test vaker dan niet faalde. De hoge score was een vals alarm veroorzaakt door een fout in het testontwerp zelf: de juiste antwoorden waren toevallig langere zinnen, en het model gokte simpelweg op basis van de zinslengte in plaats van het sociale nuance te begrijpen. Zodra de test werd aangepast om rekening te houden met de lengte, werd het werkelijke onvermogen van het model om indirecte weigeringen te hanteren zichtbaar. Deze bevinding dient als een waarschuwing dat hoge scores op computertests soms diep onbegrip kunnen verbergen als de tests niet zorgvuldig zijn ontworpen om echt begrip te scheiden van oppervlakkige trucjes.
Om deze bevindingen aan te pakken, stelde de onderzoeker een nieuwe manier voor om deze modellen te begeleiden zonder ze vanaf nul opnieuw te hoeven trainen. Het idee, genaamd Pragmatic Representation Steering, houdt in dat de interne activiteit van het model voorzichtig in de juiste richting wordt gestuurd op het moment dat het tekst genereert. Denk aan een subtiele aanpassing aan het interne kompas van het model in plaats van een volledige herziening van de hersenen. De studie toonde aan dat de wiskundige richting die nodig is om deze duwtjes te geven aanwezig is binnen de structuur van het model, ten minste voor de regels die duidelijk opgeslagen zijn. Dit suggereert dat het mogelijk is om kleine taalmodellen cultureel bewuster en sociaal geschikter te maken zonder de enorme kosten van volledige hertraining. Hoewel de volledige test van deze sturingsmethode op grotere modellen gepland is voor toekomstig werk, bewijst de huidige studie dat de interne machinerie voor cultureel begrip aanwezig is, zelfs als deze op verschillende manieren verborgen is voor verschillende sociale regels. De onderzoeker concludeert dat voor kleine taalmodellen om werkelijk de Japanse gebruikers te dienen, we verder moeten kijken dan eenvoudige vertaalscores en moeten begrijpen hoe deze modellen de onzichtbare, onuitgesproken regels van menselijke verbinding verwerken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.