An Analysis of Active Learning Algorithms using Real-World Crowd-sourced Text Annotations
Dit onderzoek analyseert de prestaties van acht veelgebruikte active learning-technieken door gebruik te maken van echte, door mensen gegenereerde tekstannotaties om de impact van foutieve of ontbrekende labels in praktijksituaties te onderzoeken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme berg ongesorteerde post hebt gekregen. Je wilt deze post sorteren in verschillende bakken (bijvoorbeeld: 'rekeningen', 'cadeautjes', 'reclame' en 'persoonlijk'). Het probleem? Je hebt geen tijd om alles zelf te lezen. Je besluit daarom een 'assistent' (een AI-model) in te huren om het werk te doen.
Maar er is een addertje onder het gras: je assistent is nog een beginner en moet leren door te kijken naar wat jij doet. Dit noemen we Active Learning.
Het probleem: De "Perfecte Assistent" illusie
In de meeste computerwetenschappelijke studies gaan onderzoekers ervan uit dat de persoon die de post sorteert (de 'oracle'), een soort supercomputer is die nooit een fout maakt. Ze gaan ervan uit dat als de assistent vraagt: "Is dit een rekening?", het antwoord altijd 100% correct is.
Maar in de echte wereld werkt dat niet zo. Mensen zijn moe, ze lezen te snel, of ze snappen de categorieën soms gewoon niet. Soms zeggen ze zelfs: "Ik weet het niet, ik doe niet mee."
Wat hebben deze onderzoekers gedaan?
De onderzoekers van de Florida State University dachten: "Laten we stoppen met doen alsof mensen perfect zijn. Laten we kijken wat er gebeurt als we echte mensen (crowdsourcing-werkers) vragen om tekst te labelen."
Ze hebben drie grote stapels tekst genomen (nieuws, klachten van bankklanten en filmverhaaltjes) en deze aan echte mensen op een platform (zoals Upwork) gegeven. Ze lieten de AI-assistent de vragen stellen, maar de antwoorden die de AI kreeg, waren de "echte, rommelige" antwoorden van mensen.
De metafoor: De leerling en de onbetrouwbare leraar
Je kunt dit experiment zien als een leerling die een examen voorbereidt.
- De Klassieke Methode (De Perfecte Leraar): De leerling vraagt een vraag, de leraar geeft het perfecte antwoord. De leerling wordt heel snel heel slim.
- De Realiteit (De Rommelige Leraar): De leerling vraagt een vraag, maar de leraar is afgeleid. Soms geeft de leraar het juiste antwoord, soms een fout antwoord, en soms zegt de leraar: "Ik heb even geen zin, vraag het later maar."
Wat waren de belangrijkste ontdekkingen?
- Niet alles is goud: De onderzoekers ontdekten dat sommige teksten zo verwarrend zijn dat iedereen ze fout sorteert. Het is alsof je een brief krijgt die in drie verschillende talen is geschreven; zelfs de beste expert raakt in de war.
- Vraag het meerdere mensen (De "Stemming-strategie"): De beste manier om de AI te laten leren, is niet door te hopen op één perfecte expert, maar door een vraag aan een hele groep mensen te stellen. Als vijf mensen zeggen dat het een 'rekening' is en één persoon zegt 'cadeau', dan weet de AI dat de groep waarschijnlijk gelijk heeft. Dit noemen ze in het onderzoek relabeling.
- Kwaliteit boven Kwantiteit: Het is beter om een paar vragen heel nauwkeurig te laten beantwoorden door een paar goede mensen, dan duizend vragen te stellen aan mensen die er maar half bij zijn. Als je de AI te veel "troep" (foute labels) voert, wordt de AI zelf ook een rommelige denker.
- Stop op tijd: Er is een punt waarop de AI genoeg heeft geleerd. Als je blijft doorgaan met het voeren van meer (soms foutieve) data, wordt de AI niet slimmer, maar juist verwarder.
Conclusie in gewone mensentaal
Dit onderzoek laat zien dat we AI niet moeten trainen op basis van een "ideaal plaatje", maar op basis van de echte, imperfecte wereld. Als we willen dat computers slim worden in het echte leven, moeten we ze leren omgaan met de menselijke fouten die onvermijdelijk zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.