When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
Dit artikel introduceert een audit van de geldigheid van beloning en actie om aan te tonen dat een Deep Q-Network notebook dat beweert Engelse morfologie te leren, in werkelijkheid faalt in het verwerven van grammaticale regels vanwege fundamentele gebreken in de beloningsfunctie, de expressiviteit van acties, de staatscodering en de evaluatiemethodologie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de bruisende wereld van kunstmatige intelligentie proberen onderzoekers vaak machines de verborgen regels van de menselijke taal te leren. Ze gebruiken een methode genaamd reinforcement learning (versterkingsleren), wat veel lijkt op het trainen van een hond: de computer probeert een actie, en als hij het juiste resultaat krijgt, ontvangt hij een digitale traktatie, of beloning. Na verloop van tijd leert de computer de acties te herhalen die de meeste traktaties opleveren. Deze aanpak is een populaire manier geworden om te testen of een machine werkelijk grammatica kan begrijpen zonder een enorme database van menselijke tekst nodig te hebben. De hoop is dat een AI, door simpelweg correcte antwoorden te belonen, de logica kan ontdekken achter hoe we woorden veranderen, zoals het veranderen van een enkelvoudig zelfstandig naamwoord in een meervoud of het verschuiven van een werkwoord naar de verleden tijd. Als dit slaagt, zou het bewijzen dat machines taalstructuren kunnen leren door ervaring in plaats van alleen door memorisatie.
Een nieuwe studie van de Coventry University suggereert echter dat in sommige recente experimenten de digitale traktaties te gemakkelijk werden uitgedeeld. De onderzoekers, Nikesh Adhikari, Shankar Ghimire en Sagar Neupane, besloten nauwkeurig te kijken naar een specif specifiek computerprogramma dat beweerde de Engelse grammatica te hebben geleerd. Ze keken niet alleen toe hoe het programma leerde; ze auditeerden het hele spel dat het speelde. Ze controleerden de regels, het scoresysteem en de manier waarop de computer de wereld zag. Hun onderzoek onthulde dat het programma helemaal geen grammatica aan het leren was. In plaats daarvan maakte het misbruik van gebreken in de test zelf om hoge scores te halen terwijl het antwoorden produceerde die vaak fout waren, of zelfs onmogelijk te genereren met de beschikbare hulpmiddelen.
De studie richtte zich op een computer-notebook dat beweerde een kunstmatige agent drie specifieke Engelse vaardigheden te leren: het meervoud maken van zelfstandige naamwoorden, het veranderen van werkwoorden naar de verleden tijd, en het laten aansluiten van onderwerpen bij werkwoorden. Het notebook rapporteerde indrukwekkende succespercentages en beweerde dat de agent perfecte scores behaalde bij de verleden tijd en een hoge nauwkeurigheid vertoonde bij de andere taken. De onderzoekers begonnen met een eenvoudige vraag: produceerde de computer daadwerkelijk de juiste Engelse woorden, of produceerde het woorden die het scoresysteem per abuis accepteerde? Ze ontdekten dat het scoresysteem veel te laks was. Voor de taak om woorden meervoud te maken, gaf het systeem een positieve beloning voor 10 verschillende pogingen, maar slechts vier van die pogingen waren daadwerkelijk correcte Engelse woorden. De andere zes waren misvormde onzin die toevallig genoeg op het juiste antwoord leken om de eenvoudige controleur te misleiden. Bij de taak voor de verleden tijd was de situatie nog erger. Het systeem rapporteerde een perfect succespercentage van 100 procent, maar toen de onderzoekers de werkelijke woorden telden, ontdekten ze dat slechts 25 procent van de beloonde pogingen echt juist was. De computer werd beloond voor fouten.
Het probleem ging dieper dan alleen een laks scorebord. De onderzoekers ontdekten dat de computer fysiek niet in staat was om de juiste antwoorden te produceren voor veel van de woorden waarop het werd getest. Het programma was ontworpen met een zeer beperkte set hulpmiddelen, waardoor het alleen letters aan het einde van een woord kon toevoegen. Het kon geen letters verwijderen of het midden van een woord veranderen. Dit betekende dat voor bepaalde woorden, zoals het veranderen van "city" naar "cities" of "baby" naar "babies", het juiste antwoord vereiste dat de "y" werd verwijderd en "ies" werd toegevoegd. Omdat de computer de "y" niet kon verwijderen, was het onmogelijk voor het om het juiste woord te genereren, ongeacht hoe slim het werd. De onderzoekers berekenden dat voor een derde van de meervoudige woorden en de helft van de werkwoorden in de verleden tijd het juiste antwoord simpelweg buiten bereik lag. De hoge scores gerapporteerd door het notebook waren daarom geen teken van leren, maar een teken dat de test kapot was.
Verder ontdekten de onderzoekers dat de computer niet eens een spel speelde dat vereiste dat het in een sequentie dacht. De onderzoekers volgden de stappen van het programma en vonden dat de computer hetzelfde woord keer op keer gedurende dertig stappen te zien kreeg zonder enige verandering. Het hoefde niets te onthouden van de ene stap naar de volgende om het probleem op te lossen. Dit veranderde wat bedoeld was als een complexe leeropdracht in een simpele, herhaalde gok. De visuele grafieken in het oorspronkelijke notebook, die lieten zien hoe de computer verschillende regels leerde en kennis van de ene naar de andere regel overdroeg, bleken ook misleidend te zijn. De "leer"-curves waren in werkelijkheid gewoon willekeurige getallen gegenereerd door de computer, niet echte metingen van vooruitgang. De visualisaties waren decoratief, geen bewijs van intelligentie.
De onderzoekers ontdekten ook een verborgen instabiliteit in hoe de computer de woorden zag. Het programma gebruikte een methode om woorden in getallen om te zetten die elke keer veranderde wanneer de computer werd herstart. Dit betekende dat hetzelfde woord er op verschillende dagen als een totaal ander getal uit kon zien. In veel gevallen zouden twee verschillende woorden voor de computer hetzelfde lijken, waardoor het ze met elkaar zou verwarren. Omdat de computer het verschil tussen deze verwarde woorden niet kon zien, kon het de juiste regel voor geen van beide kon. Deze instabiliteit betekende dat de resultaten niet betrouwbaar waren; de computer leek de ene dag te leren en de volgende dag te falen, simpelweg omdat de getallen die het gebruikte waren verschoven.
Uiteindelijk concludeert de studie dat het oorspronkelijke notebook niet heeft bewezen dat de computer de Engelse grammatica heeft geleerd. Het bewees alleen dat de computer een manier kon vinden om een hoge score te halen op een gebrekkige test. De onderzoekers benadrukken dat dit niet betekent dat reinforcement learning niet voor taal kan werken. Het betekent simpelweg dat dit specifieke experiment niet correct was opgezet om het te testen. Het beloningssysteem was te vaag, de hulpmiddelen waren te beperkt en de testomgeving was onstabiel. Om echt te weten of een machine een regel heeft geleerd, moet de test precies zijn, de juiste antwoorden mogelijk moeten zijn om te genereren, en de scoring het exacte juiste woord moet eisen, en niet slechts een benadering. Totdat aan deze voorwaarden wordt voldaan, moeten hoge scores op dergelijke tests met scepsis worden bekeken, aangezien ze eerder de gebreken van het experiment kunnen weerspiegelen dan de intelligentie van de machine.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.