Do Evaluation Metrics Detect Errors in Classical Chinese to English Translations?
Dit artikel onderzoekt de betrouwbaarheid van bestaande automatische evaluatiemetrieken voor vertalingen van klassiek Chinees naar het Engels, waarbij wordt onthuld dat hoewel alle metrieken blinde vlekken hebben, MetricX24 het beste presteert, wat daarmee de dringende behoefte aan robuustere en interpreteerbare metrieken benadrukt die zijn afgestemd op historisch en cultureel onderscheidende vertaalomgevingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar de enige aanwijzingen die je hebt, zijn geschreven in een taal die tweeduizend jaar niet meer is gesproken. Dit is de dagelijkse realiteit voor geleerden die Klassiek Chinees bestuderen, de oude taal van keizers, filosofen en dichters. Vandaag de dag hebben we superintelligente computerbreinen die Large Language Models (LLM's) genoemd, die deze oude teksten kunnen lezen en ze naar modern Engels kunnen vertalen. Het is alsof je een magische tijdmachine hebt die stoffige rollen verandert in leesbare verhalen. Maar hier zit de crux: hoe weten we dat de computer niet dingen verzint? Als de computer een woord voor "kraai" vertaalt als "duif", of een koning verandert in een hertog, dan kan het hele verhaal verpest worden.
Om te controleren of de computer zijn werk goed doet, gebruiken wetenschappers "evaluatiemetrieken". Denk aan deze metrieken als geautomatiseerde rechters of spellingcontroleprogramma's die een score aan de vertaling geven. Meestal zijn deze rechters getraind op moderne talen zoals Frans of Spaans. Ze kijken naar zaken als overeenkomstige woorden of vergelijkbare zinsstructuren. Maar Klassiek Chinees is een wildcard. Het is extreem kort, leunt zwaar op context en laat vaak onderwerpen of objecten weg die moderne talen wel vereisen. Een vertaling die perfect klinkt voor een moderne Engelse spreker, kan in werkelijkheid een complete leugen zijn over wat de oude tekst zei. De grote vraag is: kunnen onze huidige geautomatiseerde rechters deze klassiek-specifieke fouten opsporen, of zijn ze te druk met het letten op moderne grammaticaregels om historische fouten op te merken?
Dit artikel onderwerpt die geautomatiseerde rechters aan de test. De onderzoekers creëerden een speciale "examen" voor vertaalmetrieken met behulp van een slimme truc genaamd "minimale paren". Stel je voor dat je een perfecte vertaling van een oude zin hebt. Nu neem je die zin en breng je één kleine, specifieke verandering aan—zoals een "kraai" vervangen door een "duif" of de naam van de persoon die spreekt verwijderen. Dit creëert een "gebroken" versie die bijna identiek is aan het origineel, maar een specifieke fout bevat. De onderzoekers voerden vervolgens zowel de perfecte versie als de gebroken versie aan verschillende vertaalmetrieken om te zien of de metrieken de gebroken versie een lagere score zouden geven.
De resultaten waren een beetje een gemengde hap, wat onthulde dat zelfs de slimste geautomatiseerde rechters "blinde vlekken" hebben. De studie toonde aan dat hoewel sommige metrieken goed zijn in het opmerken van duidelijke rampen (zoals het vertalen van de hele tekst naar modern Chinees in plaats van Engels), ze vaak falen om de subtiele, gevaarlijke fouten te ontdekken die het belangrijkst zijn voor historici. Bijvoorbeeld, veel metrieken merkten niet op wanneer een vertaling de tijd vorm verkeerd kreeg (het veranderen van "is" naar "was") of wanneer een specifieke titel zoals "Hertog" werd vervangen door "Koning". Dit zijn de soorten fouten die een geleerde tot de verkeerde conclusie over de geschiedenis kunnen leiden.
Onder alle geteste rechters presteerde één genaamd MetricX24 het beste overall. Het was het meest gevoelig voor fouten en bestrafte correct veel van de gebroken vertalingen. Toch was zelfs MetricX24 niet perfect; het miste nog steeds bepaalde soorten fouten, met name die die te maken hebben met moderne versus oude betekenissen van woorden. Aan de andere kant waren de metrieken over het algemeen erg goed in één ding: ze strafden onschadelijke veranderingen niet af. Als de vertaling een iets andere manier gebruikte om een naam te formatteren of een zin op een andere maar geldige plek brak, gaven de metrieken de vertaling meestal een pass. Dit is goed nieuws, aangezien het betekent dat de rechters niet te streng zijn over stijl.
Uiteindelijk suggereert het artikel dat we niet alleen kunnen vertrouwen op de huidige instrumenten om oude vertalingen te evalueren. De metrieken zijn als een bril die ontworpen is voor moderne straten; ze werken goed daar, maar ze worden wazig als je probeert te navigeren door de smalle, kronkelende steegjes van de oude geschiedenis. De auteurs stellen voor dat om betrouwbare vertalingen voor de digitale geesteswetenschappen te krijgen, we nieuwe, intelligentere evaluatietools nodig hebben die specifiek getraind zijn om de unieke eigenaardigheden van Klassiek Chinees te begrijpen, in plaats van alleen moderne regels op oude teksten toe te passen. Tot die tijd zullen menselijke experts nog steeds het werk van onze AI-tijdmachines moeten controleren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.