Do Large Language Models Perform Well on Comprehending Poetic Logic in Modern Chinese Poetry?
Dit artikel introduceert Peony, de eerste benchmark die is ontworpen om de "poëtische logica" van moderne Chinese poëzie op het niveau van strofe, regel en beeldspraak te evalueren, wat aantoont dat huidige grote taalmodellen aanzienlijke beperkingen hebben in hun vermogen om dergelijke teksten te begrijpen door middel van holistisch redeneren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Taal is meer dan een instrument voor het uitwisselen van feiten; het is een vat voor emotie, beeldspraak en de subtiele, vaak onlogische verbindingen die de menselijke ervaring definiëren. Decennialang hebben kunstmatige intelligentie systemen geleerd lezen en schrijven door het bestuderen van enorme bibliotheken aan nieuwsartikelen, wetenschappelijke papers en alledaagse gesprekken. In deze teksten volgt betekenis meestal een rechte lijn: een oorzaak leidt tot een gevolg, een stelling wordt gevolgd door bewijs, en het doel is helderheid. Maar er is een ander soort schrijven waarbij de regels worden omgedraaid. Poëzie, en met name moderne Chinese poëzie, leunt vaak op stilte, plotselinge sprongen in de tijd en beelden die niet bij elkaar passen in de echte wereld, maar die perfect zin maken in de geest van een lezer. Deze stijl vereist een unieke vorm van redeneren, één die een heel verhaal samenvoegt uit fragmenten die op het eerste gezicht ongerelateerd lijken.
Tot voor kort was het onduidelijk of de meest geavanceerde computerprogramma's dit soort schrijven konden begrijpen. Deze programma's, bekend als grote taalmodellen, zijn ongelooflijk vaardig geworden in het samenvatten van nieuws of het schrijven van code, maar ze zijn zelden getest op de complexe, emotionele logica van poëzie. De vraag was niet alleen of een machine een gedicht kon reciteren, maar of het de verborgen draad kon vatten die een regel over een verwelkte bloem verbindt met een gevoel van diep verdriet, of kon begrijpen waarom een dichter de nacht zou beschrijven die uit de aarde opstijgt. Om dit te beantwoorden, zetten een team van onderzoekers van universiteiten uit China en Japan een nieuwe manier op om deze machines te testen, waarbij ze een gespecialiseerde uitdaging creëerden die ontworpen is om hun vermogen te meten om door de unieke logica van moderne Chinese verzen te navigeren.
De onderzoekers creëerden een nieuwe testomgeving genaamd Peony, vernoemd naar een bloem die vaak in de poëzie voorkomt, om te zien of kunstmatige intelligentie werkelijk de verborgen structuren van moderne Chinese gedichten kon begrijpen. Ze verzamelden 800 hoogwaardige gedichten geschreven door hedendaagse dichters, waarbij ze ervoor zorgden dat het materiaal vers genoeg was zodat de computers de antwoorden niet simpelweg hadden gememoriseerd uit hun trainingsdata. In plaats van de machines te vragen gedichten te schrijven of te vertalen, ontwierpen de onderzoekers vier specifieke puzzels die de modellen dwongen te denken als een lezer. De eerste twee puzzels vroegen de computers om gehusselde stukken van een gedicht in de juiste volgorde terug te zetten, ofwel regel voor regel of strofe voor strofe. De andere twee puzzels vroegen de modellen om ontbrekende woorden of zinnen in te vullen, waarbij ze de optie moesten kiezen die het beste paste bij de emotionele en logische flow van het stuk, terwijl ze andere opties die weliswaar op elkaar leken maar de interne logica van het gedicht doorbraken, moesten verwerpen.
Toen de onderzoekers deze tests uitvoerden op zes van de krachtigste beschikbare taalmodellen, onthulden de resultaten een aanzienlijke kloof tussen menselijk begrip en machinale verwerking. Hoewel sommige modellen redelijk goed presteerden bij taken die het matchen van eenvoudige beelden vereisten, hadden ze grote moeite wanneer ze werden gevraagd de diepere narratieve of emotionele reis van een gedicht te volgen. De meest capabele modellen, die een "denkproces" gebruiken om een probleem stap voor stap uit te werken, deden het beter dan de modellen die direct antwoord gaven, maar zelfs de beste presteerders slaagden er niet in om consequent de logica juist te krijgen. In de moeilijkste taken, waarbij het model de verbinding tussen twee verre regels van een gedicht moest afleiden, was het succespercentage verrassend laag. De data toonden aan dat hoewel deze machines vaak een enkel correct woord of regel in isolatie konden identificeren, ze vaak de draad kwijtraakten wanneer ze probeerden het hele gedicht tegelijkertijd in hun geest te houden. Ze konden de individuele bakstenen zien, maar begrepen vaak niet de vorm van het gebouw.
De studie benadruakte ook een specifieke zwakte in de manier waarop deze modellen de "poëtische logica" die het genre definieert, afhandelen. Moderne Chinese poëzie leunt vaak op het naast elkaar plaatsen van beelden die tegenstrijdig lijken, zoals een nacht die uit de grond opstijgt of een gezicht dat lijkt op een lotus die bloeit en valt. De onderzoekers ontdekten dat de modellen de neiging hadden om te vertrouwen op oppervlakkige betekenissen en algemene associaties, in plaats van op de diepere, vaak abstracte emotionele verbindingen die een menselijke lezer zou maken. Wanneer een gedicht bijvoorbeeld naar een beroemd historisch figuur of een cultureel concept verwees, misten de modellen vaak de subtiele link tussen die referentie en het thema van het gedicht, waarbij ze de woorden behandelden als louter datapunten in plaats van dragers van betekenis. Dit suggereert dat hoewel kunstmatige intelligentie de mechanica van taal heeft beheerst, het nog steeds het intuïtieve vermogen mist om door de abstracte, emotionele landschappen te navigeren waarin dichters zich bevinden.
De onderzoekers concludeerden dat huidige kunstmatige intelligentiesystemen nog niet klaar zijn om de poëtische logica van moderne Chinese poëzie volledig te begrijpen. De modellen kunnen de vorm nabootsen en zelfs het juiste antwoord geven door toeval of door bekende patronen te herkennen, maar ze worstelen met het reconstrueren van de holistische betekenis die voortkomt uit het samenspel van beelden, emoties en stilte. De "Peony"-benchmark dient als een duidelijke kaart van waar deze systemen vandaag de dag staan, en laat zien dat de sprong van het verwerken van woorden naar het begrijpen van de ziel van een gedicht nog steeds een enorme afstand is. Naarmate deze technologieën zich blijven ontwikkelen, biedt deze nieuwe test een manier om niet alleen te meten hoe goed een machine kan spreken, maar ook hoe diep zij de onuitgesproken verbindingen kan voelen die poëzie tot een uniek menselijke kunstvorm maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.