Figurative and Cultural Knowledge in LLMs: Investigating Cross-Domain Transfer through Fine-Tuning
Dit artikel onderzoekt of het finetunen op culturele data het begrip van figuurlijk taalgebruik in LLM's verbetert, waarbij wordt vastgesteld dat hoewel poëzie-training de interpretatie van idiomen op een overdraagbare wijze verbetert, cultureel finetunen vaak de interpretatie van spreekwoorden verslechtert en een complexe, niet-lineaire relatie tussen culturele immersie en de verwerving van figuurlijk taalgebruik onthult die niet rechtstreeks via finetuning kan worden gevangen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal is meer dan een reeks regels voor het rangschikken van woorden; het is een levend archief van de geschiedenis, waarden en gedeelde ervaringen van een gemeenschap. Dit geldt in het bijzonder voor figuurlijk taalgebruik — de idiomen, spreekwoorden en poëzie die steunen op culturele context om betekenis te geven. Een uitdrukking als "it's raining cats and dogs" betekent niets voor iemand die de uitdrukking nog nooit heeft gehoord, maar voor een moedertaalspreker roept het direct een specifief beeld op van hevige regen. Voor kunstmatige intelligentie, die leert door enorme hoeveelheden tekst te verwerken, is het beheersen van dit soort taal een aanzienlijke hindernis. Hoewel moderne AI-modellen vloeiend kunnen lezen en schrijven, hebben ze vaak moeite met het begrijpen van de diepere, niet-letterlijke betekenissen die in het weefsel van een cultuur zijn verweven. De vraag die onderzoekers zich al lang stellen, is of het onderwijzen van een AI over het dagelijks leven en de tradities van een cultuur het model zou helpen om metaforen te begrijpen, of dat het leren interpreteren van metaforen zou helpen om culturele feiten te vatten.
Een team van onderzoekers besloot deze connectie te testen met behulp van het Arabisch, een taal die rijk is aan diverse dialecten en een diepe literaire traditie. Ze werkten met vier verschillende grote taalmodellen, wat de krachtige computersystemen zijn die veel moderne AI-toepassingen aandrijven. Om te zien of culturele kennis en figuurlijk begrip aan elkaar gekoppeld zijn, voerden de onderzoekers een reeks gecontroleerde experimenten uit. Ze namen deze modellen en gaven ze extra training, of "fine-tuning", op specifieke soorten data. In één groep voedden ze de modellen met duizenden voorbeelden van culturele kennis, zoals feiten over sociale gebruiken, regionale praktijken en het dagelijks leven in de hele Arabische wereld. In een andere groep trainden ze de modellen op figuurlijk taalgebruik, met datasets vol spreekwoorden, idiomen en poëzie. Ze namen ook een controlegroep op die getraind was op algemene Arabische grammatica om er zeker van te zijn dat eventuele veranderingen te danken waren aan de specifieke inhoud van de training en niet alleen aan het proces van het leren van meer Arabisch.
De resultaten onthulden een complex en enigszins verrassend beeld. De onderzoekers ontdekten dat het onderwijzen van een model over cultuur het niet automatisch beter maakte in het begrijpen van idiomen of spreekwoorden. Sterker nog, voor modellen die al gespecialiseerd waren in het Arabisch, maakte het trainen op culturele data hun prestaties soms zelfs slechter. Deze modellen, die waarschijnlijk al een groot deel van de culturele kennis hadden opgenomen tijdens hun initiële training, leken verward te raken wanneer ze werden blootgesteld aan een nauwer, gecureerd pakket aan culturele feiten. Omgekeerd hielp het trainen van modellen op culturele data hen ook niet bij het beantwoorden van algemene vragen over culturele feiten. De twee soorten kennis — culturele feiten en figuurlijke betekenis — leken elkaar niet te ondersteunen op de manier waarop de onderzoekers hadden gehoopt.
Er was echter één duidelijke uitzondering die eruit sprong. Wanneer de onderzoekers de modellen specifiek trainden op poëzie, werden de modellen aanzienlijk beter in het begrijpen van idiomen. Deze verbetering was meetbaar en statistisch betrouwbaar, waarbij een specifiek model een opmerkelijke sprong in nauwkeurigheid liet zien. Cruciaal was dat deze winst niet optrad wanneer de modellen werden getraind op algemene Arabische teksten of grammatica, wat suggereert dat de verbetering voortkwam uit de poëtische inhoud zelf, en niet alleen door het zien van meer Arabische woorden. Poëzie, met haar afhankelijkheid van beeldspraak, ritme en niet-letterlijke betekenis, lijkt de modellen een bredere vaardigheid te hebben geleerd: het vermogen om betekenis te herkennen en te interpreteren die verder gaat dan de letterlijke definitie van woorden. Deze vaardigheid werd succesvol overgedragen naar idiomen, ook al zijn poëzie en idiomen verschillende vormen van expressie.
De studie benadrukte ook dat de resultaten sterk afhingen van welk model werd gebruikt. De modellen die specifiek voor de Arabische taal waren ontworpen, begonnen met een hogere basislijn van kennis en presteerden vaak slechter na de fine-tuning op nieuwe data. Dit suggereert dat ze al zoveel hadden geleerd als mogelijk was van de beschikbare trainingsmaterialen. In contrast hiermee vertoonden meertalige modellen, die getraind zijn op vele talen, meer ruimte om te leren en verbeterden ze consistenter wanneer ze werden blootgesteld aan nieuwe data. Wanneer de onderzoekers nauwkeurig naar de fouten keken, ontdekten ze dat de training de kennis over alledaagse, ervaringsgerelateerde zaken zoals voedsel, spelen en vieringen versterkte, terwijl het soms de grip van de modellen op historische feiten of specifieke politieke details verzwakte.
Uiteindelijk suggereert het onderzoek dat de relatie tussen cultuur en figuurlijk taalgebruik geen eenvoudige schakelaar is die kan worden omgezet door een AI meer data te voeren. Hoewel de twee in de menselijke ervaring diep met elkaar verbonden zijn, garandeert het onderwijzen van de AI over de één niet dat het de ander zal beheersen. De enige betrouwbare brug die in deze studie werd gevonden, liep van poëzie naar idiomen, wat aangeeft dat blootstelling aan de artistieke en niet-letterlijke kant van een taal een model kan helpen navigeren door het metaforische landschap. Voor nu blijft het pad naar werkelijk cultureel bewuste kunstmatige intelligentie ongelijkmatig, waarbij meer nodig is dan een eenvoudige overdracht van kennis van het ene domein naar het andere.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.