Determinative Detection in Egyptian Hieroglyphic Sequences: A Sequence-Labelling Benchmark and Multi-Agent LLM Baseline

Al meer dan drieduizend jaar schreven de oude Egyptenaren hun geschiedenis, hun gebeden en hun wetten met een systeem van afbeeldingen dat voor het moderne oog lijkt op een galerie van vogels, benen en geometrische vormen. Maar dit schrift was veel meer dan alleen een lijst met klanken. Het was een hybride code waarbij een enkele afbeelding drie verschillende taken tegelijkertijd kon vervullen: het kon een klank vertegenwoordigen, het kon staan voor een heel woord, of het kon fungeren als een stil label. Deze derde taak, uitgevoerd door een teken genaamd een determinatief, is de sleutel tot het begrijpen van de tekst. Een determinatief is een stil teken dat aan het einde van een woord wordt geplaatst om de lezer te vertellen wat voor soort ding het woord is. Het kan aangeven dat het woord verwijst naar een persoon, een dier, een god of een type handeling. Omdat deze tekens stil zijn en vaak lijken op de andere afbeeldingen in de zin, is het ontcijferen van welke tekens slechts klanken zijn en welke de stille labels zijn, een moeilijke puzzel. Zonder deze puzzel op te lossen, kunnen computers het Oudegyptisch niet goed vertalen, omdat ze niet kunnen zien waar het ene woord eindigt en het volgende begint, noch kunnen ze de betekenis van de woorden die ze vinden begrijpen.

Decennialang hebben wetenschappers deze stille labels met de hand bestudeerd, maar de enorme hoeveelheid tekst maakt het voor mensen onmogelijk om alles alleen te verwerken. Onlangs hebben onderzoekers geprobeerd computers te leren deze oude schriften te lezen, maar het grootste deel van dat werk heeft zich gericht op het simpelweg herkennen van de afbeeldingen zelf, zoals het identificeren van een tekening van een vogel of een been. Er is zeer weinig aandacht besteed aan de moeilijkere taak om te bepalen welke afbeeldingen als de stille labels fungeren. Een nieuwe studie van onderzoekers uit Brazilië en Spanje richt zich rechtstreeks op deze kloof. Ze hebben een computersysteem ontwikkeld dat specifiek is ontworpen om deze stille labels te vinden in sequenties van oud Egyptisch schrift. In plaats van simpelweg te gokken, gebruikt het systeem een team van kunstmatige intelligentie-agenten die samenwerken door de tekst vanuit verschillende hoeken te controleren om tot een conclusie te komen die zowel slim als betrouwbaar is.

De onderzoekers begonnen met het bouwen van een gespecialiseerde kennisbibliotheek. Ze verzamelden informatie over meer dan tachtig verschillende tekens die als stille labels kunnen fungeren, door ze te organiseren in categorieën zoals mensen, dieren, goden en natuur. Vervolgens maakten ze een testset van negenentwintig korte sequenties van oud schrift, die zorgvuldig waren gecontroleerd en gelabeld door menselijke experts. Deze set dient als een benchmark, een standaardtest om te zien hoe goed een computerprogramma de taak kan uitvoend. Het doel was om te zien of een machine naar een reeks symbolen kon kijken en correct kon aanwijzen welke ervan de stille labels waren en welke slechts klanken of delen van het woord zelf waren.

Om dit op te lossen, bouwde het team een systeem dat werkt als een kleine commissie van experts. Ze gebruikten grote taalmodellen, die krachtige computerprogramma's zijn getraind op enorme hoeveelheden tekst, maar ze lieten hen niet alleen werken. In plaats daarvan stelden ze twee onafhankelijke agenten op om elke sequentie van het schrift te analyseren. De ene agent keek naar de betekenis van de tekens, met vragen als: "Past deze afbeelding bij het idee van een god of een persoon?" De andere agent keek strikt naar de structuur en positie van de tekens, met de vraag: "Is dit teken aan het einde van het woord, waar stille labels gewoonlijk gaan?" Cruciaal was dat deze twee agenten niet met elkaar praatten terwijl ze aan het werk waren. Ze moesten hun eigen meningen onafhankelijk vormen. Dit ontwerp zorgt ervoor dat als beide agenten het eens zijn over een label, dit een sterk teken is dat ze gelijk hebben, in plaats van dat ze simpelweg elkaars fouten kopiëren.

Zodra de twee agenten hun analyse hadden voltooid, trad een derde agent op als een synthesizer, die hun bevindingen samenbracht. Deze keek naar waar zij het met elkaar eens waren en waar zij van mening verschilden. Ten slotte fungeerde een set strikte, onveranderlijke regels als een scheidsrechter. Deze scheidsrechter controleerde de suggesties aan de hand van de kennisbasis die de onderzoekers hadden opgebouwd. Het paste specifieke regels toe, zoals: "Een teken dat een vat betekent, kan alleen een stil label zijn als de tekst over vloeistoffen of offers gaat." Als de context niet overeenkwam, verwierp de regel de suggestie, zelfs als de kunstmatige intelligentie-agenten dachten dat het correct was. Deze combinatie van flexibel denken van de AI en rigide regels van de scheidsrechter creëerde een systeem dat de complexiteit van de oude taal kon afhandelen zonder wilde gokken te doen.

De onderzoekers testten hun systeem met een rigoureuze methode die ontworpen is om ervoor te zorgen dat de resultaten niet slechts een gelukkige toevalstreffer waren. Ze verdeelden hun negenentwintig testsequenties in vijf verschillende groepen. In elke ronde van testen gebruikten ze vier groepen om het systeem te trainen en de vijfde groep om het te testen, waarbij ze dit proces herhaalden totdat elke enkele sequentie precies één keer was getest. Deze aanpak gaf hen een duidelijk beeld van hoe het systeem zou presteren op nieuwe, ongeziene tekst. De resultaten lieten zien dat het systeem zeer effectief was. Het identificeerde de stille labels in de overgrote meerderheid van de gevallen, waarbij het een succespercentage van ongeveer tweeentachtig procent behaalde wanneer het alle soorten labels gelijkmatig bekijkt, en ongeveer achtenttachtig procent wanneer het naar het totaal aantal gevonden labels kijkt. De consistentie van deze resultaten over de verschillende testgroepen liet zien dat het systeem robuust was en niet afhankelijk was van een specifieke set voorbeelden.

Een van de meest interessante bevindingen was hoe het systeem omging met moeilijke gevallen. De onderzoekers ontdekten dat het systeem het beste werkte wanneer de tekst rijk was aan informatie, met drie of meer stille labels. In deze complexe sequenties versterkten de verschillende aanwijzingen van de betekenis en de structuur elkaar, waardoor het juiste antwoord voor de hand lag. Echter, het systeem had meer moeite met zeer korte sequenties die helemaal geen stille labels bevatten, of slechts één. In deze schaarse gevallen maakte het gebrek aan omliggende aanwijzingen het voor het systeem moeilijker om zeker te zijn, wat leidde tot meer fouten. Dit suggereert dat het systeem erg goed is in het vinden van patronen wanneer er voldoende bewijs is, maar dat het meer hulp nodig heeft wanneer de tekst zeer eenvoudig is.

Nog een belangrijke innovatie van dit werk is hoe het zijn antwoorden presenteert. In plaats van een enkel, definitief antwoord te geven als een zwarte doos, biedt het systeem een gerangschikte lijst van mogelijkheden. Het biedt een hoofdinterpretatie, wat het meest waarschijnlijke antwoord is, maar het vermeldt ook tot drie alternatieve interpretaties. Voor elk alternatief legt het systeem precies uit welke extra bewijslast nodig zou zijn om die alternatieve interpretatie de juiste te maken. Bijvoorbeeld, het kan zeggen: "We denken dat dit teken een label is voor een god, maar als de tekst over een tempel ging, zou het ook een label voor een gebouw kunnen zijn." Deze transparantie verandert de computer in een collaboratief hulpmiddel voor menselijke wetenschappers. Het vervangt de expert niet; in plaats daarvan legt het de opties en de redenering uiteen, waardoor de mens de uiteindelijke beslissing kan nemen op basis van hun diepere kennis.

De studie benadrukte ook specifieke uitdagingen die blijven bestaan. Het systeem verwarde soms tekens die twee zeer verschillende taken hebben, zoals een afbeelding van wandelende benen die "wandelen" kunnen betekenen of kunnen fungeren als een stil label voor "actie". Omdat de computer vertrouwt op context om te beslissen welke taak het teken vervult, maakte het af en toe fouten wanneer de context ambigu was. De onderzoekers merkten op dat deze fouten niet te wijten waren aan een gebrek in de logica van het systeem, maar aan een beperking in de huidige kennisbasis. Door meer voorbeelden toe te voegen en de regels voor deze lastige tekens te verfijnen, zou het systeem waarschijnlijk verder kunnen verbeteren.

Uiteindelijk vestigt dit werk een nieuwe standaard voor hoe computers kunnen interageren met oude schriftvormen. Het bewijst dat een hybride aanpak, die de flexibele redenering van moderne kunstmatige intelligentie combineert met de strikte regels van de menselijke wetenschap, problemen kan oplossen die geen van beiden alleen zou kunnen oplossen. Het systeem produceert niet alleen een vertaling; het produceert een gestructureerd argument dat gecontroleerd, bevraagd en verbeterd kan worden. Door de redenering zichtbaar te maken en de alternatieven duidelijk te presenteren, hebben de onderzoekers een hulpmiddel gecreëerd dat de complexiteit van de oude taal respecteert terwijl het de deur opent naar een snellere en nauwkeurigere analyse van de duizenden teksten die nog gelezen moeten worden. Dit is geen magische oplossing die alles direct oplost, maar het is een belangrijke stap voorwaarts, die een betrouwbare basislijn biedt voor toekomstig onderzoek en een nieuwe manier waarop machines en mensen samen kunnen werken om het verleden te begrijpen.