The Logovista English-Japanese Machine Translation System

Dit artikel documenteert de architectuur, ontwikkeling en bewaarde artefacten van het Logovista Engels-Japans machinevertalingssysteem, een commercieel regelgebaseerd systeem dat van de vroege jaren negentig tot ten minste 2012 actief was en zich continu aanpaste aan praktische eisen.

De kern

Het Logovista-vertelmechanisme: Een reis door de tijd

Stel je voor dat je een enorme, oude fabriek hebt die vertaalt. In plaats van dat deze fabriek leert door miljoenen voorbeelden te 'lezen' (zoals moderne AI dat doet), werkt deze fabriek volgens een gigantisch, handgeschreven receptenboek. Dit is het verhaal van het Logovista-systeem, een computerprogramma dat van de jaren '90 tot 2012 Engels naar het Japans vertaalde.

De auteur van dit paper, Barton Wright, was de hoofdingenieur van deze fabriek. Hij schrijft nu in 2026 terug om te vertellen hoe het werkte, hoe het groeide en waarom het uiteindelijk stopte. Het doel is niet om te zeggen dat we dit systeem weer moeten gebruiken, maar om een historisch verslag te maken voor de toekomst.

Hier is hoe het in de praktijk werkte, vertaald in alledaagse beelden:

1. De Bouwstenen: Een handgemaakte stad

Het systeem was geen 'zwarte doos' die vanzelf leerde. Het was meer als een stad die volledig op papier was getekend voordat er ook maar één steen werd gelegd.

• De Grammatica: Dit was de blauwdruk. Taalkundigen schreven duizenden regels op over hoe Engelse zinnen zijn opgebouwd.
• Het Woordenboek: Dit was de enorme bibliotheek in het centrum van de stad. Elke woord had een kaartje met daarop niet alleen de betekenis, maar ook regels over waar het mag staan en wat het mag doen (bijvoorbeeld: "Het woord 'eten' mag alleen bij een persoon, niet bij een rots").
• De Software: Dit was de straten en het verkeerssysteem dat zorgde dat alles op de juiste plek kwam.

2. Hoe het vertaalde: De detective en de jury

Wanneer je een Engelse zin invoerde, gebeurde er een wonderlijke dans in drie stappen:

1. De Splitsing (De Pre-parser): De computer splitste de zin op in losse stukjes, net als een kok die groenten in blokjes snijdt.
2. De Boom (De Chart-parser): De computer probeerde alle mogelijke manieren om die blokjes tot een zin te maken. Stel je voor dat je een legpuzzel hebt met 1000 stukjes. De computer probeerde niet één oplossing, maar alle mogelijke puzzels tegelijk.
3. De Jury (Scoring): Omdat er vaak duizenden mogelijke puzzels waren, moest er een winnaar worden gekozen. Hiervoor hadden ze een jury van experts.
   • Expert A keek of het woord vaak voorkomt.
   • Expert B keek of de betekenis logisch is (bijv. "de rots eet" is raar, dus die krijgt een strafpunt).
   • Expert C keek naar de zinsbouw.

De computer gaf punten aan elke mogelijke vertaling. De winnaar was de vertaling met de hoogste score. Om de computer niet te laten crashen door te veel opties, gebruikten ze snoeiheken: als een optie te raar leek, werd die direct weggegooid voordat de jury er zelfs maar naar keek.

3. Het probleem: De chaos van de keuzes

Het moeilijkste deel was dat het systeem soms 10^35 (een 1 met 35 nullen) mogelijke vertalingen had voor één zin. Dat is meer dan het aantal zandkorrels op aarde!

• De Analogie: Stel je voor dat je een restaurantmenu hebt. Als je "hamburger" zegt, wil je waarschijnlijk een gewone hamburger. Maar als je "hamburger met kaas, friet en cola" zegt, moet de kok weten dat je geen "hamburger met kaas, maar dan als dessert" bedoelt.
• Het systeem moest constant kiezen tussen miljoenen wegen. Als ze een nieuwe regel toevoegden om een specifiek probleem op te lossen, kon het zijn dat ze per ongeluk een ander, goed werkend probleem verstoorden. Dit noemen ze regressie: iets dat gisteren werkte, werkt vandaag niet meer omdat je ergens anders een schroefje hebt vastgedraaid.

4. De menselijke touch: Waarom gebruikers niet wilden helpen

Het systeem had een speciale functie: als de computer twijfelde, kon de gebruiker zelf zeggen: "Kies optie A" of "Dit woord betekent hier X".

• De Realiteit: Dit was als een auto met een knopje "Help de bestuurder". Technisch werkte het perfect, maar mensen waren lui. Ze wilden gewoon op "Start" drukken en een antwoord krijgen, zelfs als het antwoord niet 100% perfect was. Niemand wilde de computer helpen met de puzzel.

5. De groei en de val

In het begin was het systeem slim voor standaardzinnen. Maar naarmate ze meer woorden en regels toevoegden om ook moeilijke teksten te kunnen vertalen, werd het systeem traag en onvoorspelbaar.

• De Analogie: Het was alsof je een huis bouwt. Eerst was het een eenvoudig huis. Toen je er een verdieping bijbouwde, moest je de fundering aanpassen. Toen je nog een verdieping toevoegde, begon het dak te lekken. Uiteindelijk werd het huis zo complex dat je niet meer wist welke steen je weg kon halen zonder dat het hele huis instortte.
• Het toevoegen van nieuwe regels maakte de "puzzel" zo ingewikkeld dat het moeilijk werd om fouten te repareren zonder nieuwe fouten te maken.

6. Het erfgoed: De kist in de kelder

Toen het bedrijf in 2012 stopte, nam de auteur een kist mee met alles wat er was:

• De volledige software (geschreven in C++).
• De duizenden regels en woordenboeken.
• De versiegeschiedenis (een logboek van elke verandering die ooit is gemaakt).
• Duizenden voorbeeldzinnen om te testen of het nog steeds werkte.

Deze kist ligt nu veilig bewaard. De auteur wil niet dat het bedrijf weer begint, maar hoopt dat toekomstige onderzoekers (misschien over 50 jaar) deze kist kunnen openen om te zien hoe mensen vroeger probeerden computers taal te leren geven, voordat we AI gebruikten die vanzelf leert.

Samenvattend

Dit paper is geen handleiding om een nieuwe vertaalmachine te bouwen, maar een museumstuk. Het laat zien hoe ingenieurs en taalkundigen samenwerkten om een machine te bouwen die "dacht" met regels in plaats van met statistieken. Het was een indrukwekkend project dat jarenlang werkte, maar uiteindelijk de grenzen bereikte van hoe complex een handgeschreven systeem kan worden voordat het te ingewikkeld wordt om te beheersen.

Technische samenvatting

Technische Samenvatting: Het Logovista Engels–Japans Machinevertaalsysteem

Probleemstelling
Het paper beschrijft de architectuur, ontwikkeling en beperkingen van een groot, expliciet regelgebaseerd machinevertaalsysteem (MT) voor het vertalen van Engels naar Japans. Het centrale probleem dat het systeem moest oplossen, was het beheersen van extreme structurele ambiguïteit in natuurlijke taal. In een regelgebaseerde omgeving, waar handgeschreven grammaticaregels worden toegepast, leidt de expansie van de dekking (coverage) van het systeem vaak tot een exponentiële toename van mogelijke syntactische analyses. Het systeem moest in staat zijn om uit een zoekruimte van soms $10^{35}$ alternatieve interpretaties de correcte interpretatie te selecteren, terwijl het tegelijkertijd evolueerde onder druk van reële zakelijke toepassingen zonder dat de kwaliteit van eerdere vertalingen degradeerde (regressie).

Methodologie
Het Logovista-systeem (ontwikkeld van de vroege jaren 90 tot 2012) was een hybride architectuur die handgeschreven linguïstische kennis combineerde met geautomatiseerde scoring en pruning.

• Architectuur: Het systeem bestond uit een pre-parser, een chart-parser en een generatiecomponent. De kern was een propriëtaire, handgeschreven centrale dictionary en een set grammaticaregels. Linguïstische kennis was grotendeels opgeslagen in externe tekstbestanden (grammatica, woordenboeken, transformatieregels) in plaats van in procedurele code, wat wijzigingen mogelijk maakte zonder het compileren van de C/C++-engine.
• Engelse Analyse:
  1. Tokenisatie: Ruwe tekst werd opgesplitst in tokens.
  2. Chart Parsing: De parser genereerde alle syntactisch geldige bomen op basis van de grammatica.
  3. Semantische expansie: Syntactische bomen werden uitgebreid met semantische structuren.
  4. Scoring: Competerende interpretaties werden beoordeeld met behulp van gewogen "experts" (handgeschreven scoring-componenten).
• Japans Synthese: De generatie van Japans gebaseerde op herschikking van zinsdelen volgens de grammaticaregels en verdere structurele modificaties via een apart transformatiebestand ("analyze file"), gebaseerd op transformatiële grammatica.
• Interpretatie-Scoring en Pruning: Om de zoekruimte beheersbaar te houden, werd incrementele scoring toegepast. Deelscores werden berekend op basis van:
  • Lexicale voorkeuren: Frequentere woordbetekenissen kregen een hogere score.
  • Semantische restricties: De dictionary bevatte beperkingen voor verba-argumenten (onderwerp, complementen). Onverenigbaarheden tussen substantieven en werkwoorden leidden tot straffen, terwijl goede matches bonussen opleverden.
  • Semantische gelijkenis: Bij coördinatiestructuren speelde de semantische gelijkenis tussen zinsdelen een rol in het rangschikken.
• Ontwikkelproces: Het systeem onderging een continu proces van dekkingsexpansie en regressiecontrole. Wijzigingen in regels of woordenboeken hadden vaak niet-lokale effecten op de rangschikking van analyses. Om dit te managen, werd een regressietestset van ongeveer 10.000 zinnen gebruikt om onbedoelde degradaties te detecteren.

Belangrijkste Bijdragen

• Historisch Document: Het paper dient als een technisch en historisch verslag van een commercieel succesvol, regelgebaseerd MT-systeem dat twee decennia in gebruik was, in tegenstelling tot de meeste regelgebaseerde systemen die slechts in onderzoekscontext worden beschreven.
• Architectuur voor Ambiguïteitsbeheer: Het beschrijft een robuuste methode voor het hanteren van extreme ambiguïteit door middel van gewogen scoring en agressieve pruning-heuristieken, wat essentieel was voor de bruikbaarheid van het systeem.
• Linguïstische Classificatie: Het systeem ontwikkelde een complexe classificatie van werkwoorden (ongeveer 40 verschillende klassen) gebaseerd op complementstructuren en argumentrealisatie, wat nodig was om realistische teksten te verwerken.
• Behoud van Artefacten: De auteur heeft de volledige broncode (C++), de linguïstische resources (grammatica, dictionary, analyze rules) en versiebeheerlogs (RCS) bewaard. Dit biedt een unieke kans om de evolutie van een groot MT-systeem over tijd te bestuderen.

Resultaten

• Commerciële Duur: Het systeem werd commercieel verkocht van de vroege jaren 90 tot ten minste 2012, wat aantoont dat regelgebaseerde benaderingen op lange termijn levensvatbaar kunnen zijn voor specifieke domeinen.
• Beperkingen van Dekkingsexpansie: Het paper concludeert dat het uitbreiden van de dekking door nieuwe grammaticaregels of gedetailleerde invoer voor frequent voorkomende woorden leidde tot een groeiende structuur-ambiguïteit. Dit maakte het steeds moeilijker om lokale problemen op te lossen zonder negatieve effecten op andere delen van het systeem (regressies).
• Gebruiksgedrag: Hoewel het systeem functies bood voor gebruikersgestuurde ontwarding (disambiguatie), gebruikten eindgebruikers deze zelden. Gebruikers prefereerden volledig automatische vertaling, zelfs bij imperfecte output.
• Technische Beperking: Zonder de geavanceerde pruning-technieken zou de exhaustieve enumeratie van interpretaties computationeel onuitvoerbaar zijn geweest.

Significantie
De significantie van dit paper ligt niet in het pleidooi voor een terugkeer naar regelgebaseerde MT (zoals in het abstract en de inleiding wordt benadrukt), maar in het bieden van een historisch en technisch referentiepunt.

1. Lerend van het Verleden: Het biedt inzicht in hoe een groot systeem zich aanpaste aan praktische eisen, hoe regressiecontrole werd geïmplementeerd voordat moderne deep-learning-methoden dominant werden, en waar de grenzen van handmatige grammatica liggen.
2. Bewaring van Kennis: De beschikbaarheid van de gearchiveerde broncode en linguïstische resources (voor onderzoekers onder bepaalde voorwaarden) stelt de academische gemeenschap in staat om de evolutie van een "levend" systeem te bestuderen, inclusief de trade-offs tussen dekking, complexiteit en onderhoudbaarheid.
3. Contrast met Moderne MT: Het document illustreert de verschillen tussen een expliciet, handgeschreven systeem en de data-gedreven benaderingen van tegenwoordig, en toont de specifieke uitdagingen die regelgebaseerde systemen tegenkwamen bij het schalen van hun kennisbasis.