Moderne computers die menselijke taal begrijpen, lezen woorden niet op de manier waarop wij dat doen. Ze zien een zin niet als een stromende stroom van betekenis; in plaats daarvan zien ze een lange lijst van kleine, discrete stukjes. Om dit te laten werken, moeten ingenieurs elke zin eerst afbreken in deze minuscule fragmenten, een proces dat tokenisatie wordt genoemd. Decennialang was de standaardmethode hiervoor puur statistisch. De computer kijkt naar een enorme bibliotheek van tekst en telt hoe vaak bepaalde lettercombinaties samen voorkomen. Als twee letters of kleine groepen letters zeer frequent samen verschijnen, besluit de computer ze aan elkaar te lijmen tot een enkele eenheid. Deze aanpak is uitstekend in het comprimeren van gegevens, waardoor de computer enorme hoeveelheden tekst snel kan verwerken. Het behandelt taal echter als een zak met willekeurige letters in plaats van een gestructureerd systeem van betekenis. Het negeert de diepe regels van hoe woorden worden opgebouwd, zoals hoe een stamwoord verandert wanneer je een voorvoegsel of achtervoegsel toevoegt. Dit blinde vlek wordt een groot probleem voor talen die rijk zijn aan deze structurele regels, met name veel Indiase talen, waar woorden worden gevormd door complexe lettergrepen en grammaticale markeringen te combineren op manieren die standaard computermethoden vaak niet respecteren.

Onderzoekers van Motilal Oswal Financial Services en het Indian Institute of Technology Bombay hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen, die ze SuTRA noemen. Ze merkten op dat de standaard statistische methode woorden vaak op een manier uit elkaar breekt die hun betekenis vernietigt. Ze noemden dit destructieve fenomeen "morfologische versplintering". Stel je een woord voor dat bestaat uit een kernbetekenis en een grammaticale uitgang. Een standaardcomputer kan het woord midden in de kern splitsen, waardoor de essentiële betekenis wordt gescheiden van het begin of het einde, of het kan een voorvoegsel op een manier met een stam versmelten die hun onderscheidende rollen vertroebelt. Dit is vooral schadelijk voor Indiase talen, die scripts gebruiken waarbij een medeklinker en een afhankelijke klinker een enkele, onsplitsbare visuele eenheid vormen, een akshara genoemd. Standaard tokenizers splitsen deze eenheden vaak uit elkaar, waardoor de klinker wordt gescheiden van de medeklinker waartoe hij behoort, en ze negeren vaak de grenzen tussen de stam van een woord en de grammaticale bijvoegsels. Het resultaat is een gefragmenteerde representatie waarbij de computer moeite heeft om de ware semantische kern van een woord te begrijpen, wat het voor de machine moeilijker maakt om te leren of te vertalen.

Om dit op te lossen, creëerde het team een nieuw algoritme dat de natuurlijke structuur van deze talen respecteert. In plaats van de computer te laten beslissen hoe woorden worden opgesplitst op basis van enkel hoe vaak letters samen voorkomen, leerden ze het systeem eerst de bouwstenen van de taal te herkennen. Ze begonnen met het maken van een nieuwe, geverifieerde dataset voor het Hindi, Marathi en Gujarati. Dit was niet een simpele lijst met woorden; het was een gedetailleerde kaart die precies liet zien waar de stammen van woorden beginnen en eindigen, en waar de grammaticale markeringen zich hechten. Omdat bestaande bronnen incompleet waren of vertrouwden op imperfecte regels, gebruikten de onderzoekers een groot taalmodel om de splitsingen te verifiëren en te corrigeren, waardoor werd gewaarborgd dat elk woord in hun dataset werd afgebroken volgens zijn werkelijke linguïstische wortels. Deze gouden standaard-dataset werd de basis voor het trainen van hun nieuwe tokenizer.

De nieuwe methode, SuTRA, werkt in twee fasen. Eerst kijkt het naar de tekst en groepeert de letters in hun natuurlijke, onsplitsbare lettergrepen, waarbij wordt gegarandeerd dat een klinker nooit wordt gescheiden van de medeklinker die hij modificeert. Het markeert ook de grenzen waar een stamwoord eindigt en een grammaticale suffix begint, gebaseerd op de geverifieerde dataset. In de tweede fase bouwt het zijn vocabulaire op door deze eenheden samen te voegen, maar met een cruciaal verschil: het is verboden om over de zojuist geïdentificeerde grenzen heen samen te voegen. Als de computer probeert een voorvoegsel aan een stam te lijmen op een manier die de linguïstische structuur schendt, straft het systeem die zet af. Het dwingt de computer om eerst de geldige stammen te leren, waarbij ze worden behandeld als solide, onbreekbare blokken, voordat het de computer is toegestaan ze te combineren met andere delen. Dit zorgt ervoor dat de uiteindelijke stukjes die de computer gebruikt om taal te begrijpen, altijd een volledige, betekenisvolle stam bevatten.

De resultaten van deze structurele aanpak waren significant. Bij tests tegenover de standaardmethoden toonde de nieuwe tokenizer een veel beter vermogen om woorden intact te houden. In het Hindi verbeterde het de uitlijning tussen de woordstukjes van de computer en de werkelijke linguïstische stammen met bijna vijftien procent. In het Marathi was de verbetering nog uitgesprokener, waarbij het de mate waarin de computer de oorspronkelijke betekenis van een woord uit de fragmenten kon herstellen, bereikte tot boven de vierendertig procent. Deze structurele helderheid vertaalde zich direct naar betere prestaties bij real-world taken. Wanneer de onderzoekers de nieuwe tokenizer gebruikten om een machinevertalingssysteem te trainen om tussen het Hindi en Marathi te vertalen, verbeterde de kwaliteit van de vertaling merkbaar. Het systeem produceerde minder fouten en legde de nuances van de taal nauwkeuriger vast dan systemen die de oude, puur statistische methoden gebruikten. Bovendien bleek de nieuwe tokenizer robuuster; wanneer de invoertekst kleine typefouten of kleine spellingvariaties bevatte, behield het nieuwe systeem de integriteit van de stam van het woord, terwijl de oude systemen vaak uit elkaar vielen en de typefout behandelden als een signaal om het woord volledig opnieuw te segmenteren.

De onderzoekers demonstreerden ook dat deze aanpak niet ten koste ging van de efficiëntie. Hoewel de nieuwe methode voor sommige woorden iets meer stukjes creëerde om linguïstisch correct te zijn, creëerde het geen excessief aantal fragmenten die de computer zouden vertragen. Het systeem slaagde erin de omvang van de vocabulaire beheersbaar te houden terwijl het een veel dieper begrip van de taalstructuur bereikte. Door prioriteit te geven aan de natuurlijke grenzen van de taal boven eenvoudige frequentie-tellingen, lieten het team zien dat het mogelijk is om kunstmatige intelligentie te begeleiden om de logica van menselijke spraak te respecteren. Dit werk suggereert dat voor talen met complexe structuren, de weg naar betere kunstmatige intelligentie niet alleen ligt in het voeren van meer data aan de computer, maar in het leren aan de computer de taal te zien zoals de sprekers dat doen: als een samenhangend systeem van stammen en bijvoegsels, in plaats van een chaotische stroom van letters. De bevindingen bieden een praktisch blauwdruk voor het verbeteren van de manier waarop machines omgaan met de meest taalkundig diverse talen van de wereld, waardoor wordt gewaarborgd dat de technologie de structuur van de taal dient in plaats van deze uit elkaar te breken.