Far Out: Evaluating Language Models on Slang in Australian and Indian English
Deze studie evalueert de prestaties van zeven taalmodellen bij het begrijpen van slang in Indiaas- en Australisch-Engels en onthult fundamentele asymmetrieën tussen generatieve en discriminatieve vaardigheden, waarbij modellen over het algemeen beter presteren op discriminatieve taken en bij Indiaas-Engels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: "Verre Uitzicht": Waarom slimme computers de lokale straattaal van Australië en India niet begrijpen
Stel je voor dat je een superintelligente robot hebt die alles over de wereld weet. Hij heeft alle boeken, kranten en websites ter wereld gelezen. Maar als je hem vraagt om een grapje te maken in de specifieke straattaal van een dorpje in India of een café in Sydney, faalt hij. Hij klinkt als een robot die probeert een dialect te spreken, maar het blijft stijf en onnatuurlijk.
Dat is precies wat deze studie ontdekt. De onderzoekers hebben gekeken hoe goed moderne taalmodellen (zoals de slimme AI's die we nu gebruiken) de slang begrijpen van twee specifieke vormen van Engels: Australisch Engels en Indiaas Engels.
Hier is de uitleg, vertaald naar alledaagse taal:
1. Het Probleem: De "Standaard" vs. De "Straat"
Talen veranderen voortdurend. Net zoals in Nederland jongeren woorden gebruiken die hun grootouders niet snappen, hebben Australiërs en Indiërs hun eigen unieke woorden.
- Voorbeeld (India): Het woord "Prepone". In standaard Engels zeg je "postpone" (uitstellen). Maar in India betekent "prepone" juist het tegenovergestelde: iets vooruit schuiven.
- Voorbeeld (Australië): "Far out". Dit betekent niet dat iets ver weg is, maar dat iets ongelooflijk cool of verbazingwekkend is.
De AI's zijn getraind op "standaard" Engels (zoals uit de VS of het VK). Ze kennen deze lokale woordjes niet, of ze gebruiken ze op de verkeerde manier.
2. De Test: Een Proef met twee Delen
De onderzoekers hebben twee soorten "proefvragen" bedacht om de AI's te testen:
- De "Internet-Test" (WEB): Ze namen echte zinnen van internet (uit Urban Dictionary), waar echte mensen deze woorden gebruiken. Dit is als het luisteren naar echte gesprekken op straat.
- De "Robot-Test" (GEN): Ze lieten een andere AI deze woorden in nieuwe, verzonnen situaties gebruiken. Dit is als een toneelstuk dat door een computer is geschreven.
Ze gaven de AI's drie soorten taken:
- Invullen: "Ik ga naar de winkel, want ik heb ... nodig." (De AI moet het ontbrekende woord raden).
- Gids-Invullen: "Vul het woord in dat past bij de Australische taal." (De AI krijgt een hint).
- Meerkeuze: "Welk woord past hier? A) Saus, B) Far out, C) Auto, D) Snel."
3. De Resultaten: De "Blind Vlek" van de AI
De resultaten waren verrassend en een beetje triest voor de technologie:
Het "Gokken" werkt beter dan het "Schrijven":
Als de AI moest schrijven (het woord zelf bedenken), faalde hij bijna volledig. Het was alsof je een kind vraagt om een gedicht te schrijven in een dialect dat het niet kent; het klinkt als onzin.
Maar! Als je de AI een meerkevetoets gaf (waar het juiste antwoord al tussen zat), deed het het veel beter.- Analogie: Het is alsof iemand een taal niet zelf kan spreken, maar als je hem drie opties geeft, kan hij wel het juiste woord herkennen. Ze kunnen de "geur" van de taal ruiken, maar niet zelf praten.
India vs. Australië:
De AI's deden het iets beter met Indiaas Engels dan met Australisch Engels. Waarom? Waarschijnlijk omdat er meer data over Indiaas Engels op het internet staat waar de AI's van hebben geleerd. Australisch Engels was voor hen een nog grotere "blinde vlek".Echte mensen vs. Verzonnen verhalen:
De AI's deden het beter op de echte internetzinnen dan op de door computers verzonnen zinnen. Dit is een beetje raar, want je zou denken dat computers verzonnen zinnen beter begrijpen. Het suggereert dat de AI's misschien "geleerd" hebben van de specifieke zinnen op internet (een soort vals spieken), en dat ze moeite hebben met de echte logica van de taal.
4. Wat gaat er mis? (De fouten)
Toen de AI's het fout hadden, deden ze dit op vijf manieren:
- Letterlijk nemen: In plaats van het slangwoord te gebruiken, gebruikten ze het standaardwoord. (Bijvoorbeeld: in plaats van "Far out" zeggen ze "Amazing", wat wel klopt, maar niet de sfeer heeft).
- Alledaags vervangen: Ze gebruikten een woord dat wel klopt, maar niet specifiek genoeg is voor dat land.
- Betekenis verdraaien: Ze begrepen de context een beetje, maar niet helemaal.
- Context verkeerd lezen: Ze snapten niet wat er in de situatie aan de hand was.
- Volledige onzin: Soms gaven ze een antwoord dat totaal niets te maken had met de zin.
5. Waarom is dit belangrijk?
We gebruiken deze slimme computers steeds meer voor alles: van het controleren van berichten tot het helpen bij het leren van talen. Als ze de taal van bepaalde groepen mensen niet begrijpen, kunnen ze:
- Onbedoeld bevooroordeeld zijn.
- Mensen uit die culturen niet goed helpen.
- Grappen of nuances missen die essentieel zijn voor menselijke communicatie.
Conclusie in één zin:
Deze slimme computers zijn als een reiziger die alle reisgidsen heeft gelezen, maar als hij op de markt in een ander land staat, begrijpt hij de straattaal van de lokale bewoners niet en kan hij niet meepraten, tenzij je hem een meerkevetoets geeft. We moeten ze nog veel meer leren over de echte, levende wereld van taal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.