Low-Resource Named Entity Recognition with Cross-Lingual, Character-Level Neural Conditional Random Fields

In het uitgestrekte landschap van de menselijke taal zijn computers bijzonder bekwaam geworden in het lezen en begrijpen van tekst, maar ze struikelen nog steeds over een fundamentele taak: het herkennen van namen van mensen, plaatsen en organisaties. Deze uitdaging, bekend als named entity recognition (entiteitsherkenning), vereist dat een machine naar een zin kijkt en beslist welke woorden verwijzen naar een specifieke persoon, een locatie of een bedrijf, en deze onderscheidt van de gewone woorden die eromheen staan. Voor talen zoals het Engels, waar onderzoekers decennia lang miljoenen voorbeelden van geannoteerde tekst hebben verzameld, hebben computers geleerd om deze taak met hoge nauwkeurigheid uit te voeren. Voor de duizenden andere talen die wereldwijd worden gesproken, bestaan dergelijke enorme bibliotheken van voorbeelden echter simpelweg niet. In veel gevallen hebben taalkundigen en informatici slechts een handvol zinnen om mee te werken, wat het bijna onmogelijk maakt om een computer te leren namen in die talen te herkennen met traditionele methoden. Deze kloof laat een aanzienlijk deel van de talen in de wereld onzichtbaar voor moderne digitale hulpmiddelen, wat een barrière vormt voor informatievoorziening en communicatie.

Een team van onderzoekers aan de Johns Hopkins University zette zich in om deze kloof te overbruggen door een nieuwe manier te verkennen om computers te leren hoe ze namen moeten herkennen in deze minder rijke talen (low-resource languages). In plaats van te proberen een apart, geïsoleerd systeem voor elke taal te bouwen, ontwikkelden zij een methode waarmee een computer kan leren van talen die hij al goed kent en die kennis kan toepassen op een taal die hij nog maar heel weinig weet. De kern van hun aanpak houdt in dat de computer wordt geleerd om naar de bouwstenen van woorden te kijken—de individuele letters en tekens—in plaats van alleen naar de woorden als volledige eenheden. Door te analyseren hoe tekens combineren om namen te vormen in een goed gedocumenteerde taal, kan de computer beginnen met het herkennen van vergelijkbare patronen in een verwante, maar minder rijke taal. Deze techniek, die de onderzoekers transfer learning noemen, stelt de computer in feite in staat om de intuïtie die hij heeft ontwikkeld voor de ene taal te lenen om de andere te helpen begrijpen, mits de twee talen een gemeenschappelijke familie of structurele wortels delen.

De onderzoekers testten dit idee bij vijftien verschillende talen, variërend van het Galicisch en Oekraïens tot het Tagalog en Hindi. Ze begonnen door een scenario te creëren waarbij de computer toegang had tot slechts honderd zinnen aan trainingsdata voor een doeltaal, een hoeveelheid die zo klein is dat standaard computermodellen er meestal niets nuttigs van kunnen leren. In deze moeilijke setting vergeleken ze twee verschillende soorten computermodellen. Het eerste was een traditioneel model dat vertrouwde op menselijke experts om handmatig specifieke regels en kenmerken te ontwerpen om de computer te helpen namen op te sporen. Het tweede was een nieuwer, complexer model gebaseerd op neurale netwerken, die ontworpen zijn om hun eigen kenmerken automatisch uit de data te leren. Wanneer de computer werd gedwongen om van slechts honderd zinnen te leren zonder hulp van andere talen, presteerde het traditionele model feitelijk beter. Het neurale netwerk, dat bekend staat om de behoefte aan enorme hoeveelheden data om goed te functioneren, had moeite en produceerde lagere nauwkeurigheidsscores. Dit bevestigde dat het complexe neurale proces in afwezigheid van voldoende data nog niet klaar was om op eigen benen te staan.

Echter, het verhaal veranderde volledig toen de onderzoekers het element van cross-linguale transfer introduceerden. Ze voorzagen de computer van een grote hoeveelheid trainingsdata van een verwante taal—zoals Spaans voor Galicisch, of Russisch voor Oekraïens—naast de kleine dataset van honderd zinnen voor de doeltaal. In deze nieuwe opstelling schoot het neurale netwerkmodel er met de winst vandoor. Door de kennis te delen die het heeft verkregen uit de rijke, goed gedocumenteerde taal, was het neurale netwerk in staat om een algemene representatie te leren van hoe een naam eruitziet over verschillende, maar verwante talen heen. Het leerde dat namen vaak specifieke karakterpatronen delen, ongeacht of ze nu in de ene of de andere taal werden geschreven. Dit stelde het model in staat om zijn begrip te generaliseren en aanzienlijk beter te presteren dan het traditionele model, dat de extra data niet op dezelfde manier kon benutten. In sommige gevallen was de verbetering spectaculair, waarbij de nauwkeurigheid van het neurale model met bijna tien punten steeg ten opzichte van de traditionele aanpak wanneer deze transfermethode werd gebruikt.

De studie onthulde ook dat deze methode het beste werkt wanneer de doeltaal zeer weinig data heeft. Wanneer de onderzoekers de computer een grote dataset van tienduizend zinnen voor de doeltaal gaven, verdween het voordeel van het lenen van data uit een andere taal, en presteerde het neurale model goed op eigen kracht. Dit suggereert dat de techniek specifiek is ontworpen om het probleem van schaarste op te lossen, als een levenslijn voor talen die de enorme archieven van tekst missen die nodig zijn om moderne kunstmatige intelligentie te trainen. De onderzoekers ontdekten dat het vermogen van het neurale netwerk om tekens in plaats van hele woorden te analyseren cruciaal was voor dit succes, omdat het het systeem in staat stelde subtiele verbindingen tussen talen te vinden die een woordgebaseerd systeem wellicht zou missen. Door de interne componenten van het model over talen heen aan elkaar te koppelen, kon de computer het concept van een "named entity" abstraheren op een manier die de specifieke woordenschat van een enkele taal oversteeg.

Uiteindelijk demonstreert het werk dat het mogelijk is om de meest geavanceerde taaltechnologie naar de meest onderbediende talen ter wereld te brengen, maar dat dit een verschuiving vereist in hoe deze systemen worden getraind. De bevindingen laten zien dat hoewel complexe neurale netwerken krachtig zijn, ze geen magische oplossing zijn die in elke situatie werkt; ze hebben de juiste soort ondersteuning nodig om te functioneren wanneer data schaars is. Door de diepe leervermogens van neurale netwerken te combineren met de strategie om te leren van verwante talen, hebben de onderzoekers een levensvatbaar pad vooruit aangetoond. Deze aanpak vereist niet de onmogelijke taak om miljoenen zinnen handmatig te annoteren voor elke taal op aarde. In plaats daarvan biedt het een praktische manier om bestaande middelen te benutten om het begrip te ontsluiten voor talen die lang zijn achtergesteld, waardoor de voordelen van digitale taalverwerking kunnen worden uitgebreid naar een veel groter deel van de menselijke populatie.