Class-Aware Semantic Hybrid Data Augmentation for Imbalanced Sentiment Classification Using Multiple Transformer Models
Dit artikel stelt een Class-Aware Semantic Hybrid Data Augmentation (CSHDA) framework voor dat selectief diverse, semantisch gevalideerde augmentatietechnieken toepast op minderheidsklassen, waardoor klassenimbalans effectief wordt gemitigeerd en de prestaties en robuustheid van meerdere transformer-gebaseerde modellen bij ongebalanceerde sentimentclassificatietaken aanzienlijk worden verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het uitgestrekte digitale landschap van het internet delen mensen voortdurend hun meningen, van recensies van een lokaal restaurant tot klachten over een vertraagde vlucht. Computers zijn bijzonder goed geworden in het lezen van deze teksten en het achterhalen of de sentiment achter deze teksten blij, verdrietig of ergens daartussenin is. Deze vaardigheid, bekend als sentimentanalyse, helpt bedrijven om hun klanten te begrijpen en organisaties om de publieke stemming te volgen. Echter, om een computer deze vaardigheid te leren, moet deze getraind worden op een enorme hoeveelheid voorbeelden. Een aanzienlijke hindernis doet zich voor wanneer deze voorbeelden niet gelijkmatig verdeeld zijn. Stel je een klas voor waar negentig studenten leren rode objecten te identificeren, maar slechts tien leerden blauwe objecten te identificeren. De leraar, overweldigd door de rode voorbeelden, kan beginnen met gokken dat alles rood is, simpelweg omdat dat is wat hij het vaakst ziet. In de wereld van data wordt dit klasse-imbalans (class imbalance) genoemd, en het zorgt ervoor dat computermodellen minderheidsmeningen, zoals neutrale of negatieve gevoelens, negeren ten gunste van de meerderheid.
Om dit op te lossen, proberen onderzoekers vaak meer voorbeelden te creëren voor de minderheidsgroepen, een proces dat dataugmentatie (data augmentation) wordt genoemd. Ze nemen bestaande zinnen en maken kleine wijzigingen, zoals het vervangen van een woord door een synoniem of het verwijderen van een paar letters, in de hoop nieuwe, geldige trainingsdata te genereren. Hoewel dit in het verleden heeft geholpen, suggereert een nieuwe studie dat het simpelweg maken van meer kopieën niet genoeg is als de wijzigingen blindelings worden aangebracht. De onderzoekers ontdekten dat het toepassen van dezelfde willekeurige wijzigingen op elk type zin de computer daadwerkelijk in verwarring kan brengen, door voorbeelden te creëren die totaal niet meer lijken op het oorspronkelijke gevoel of, erger nog, simpelweg dezelfde zin keer op keer herhalen.
Een team van onderzoekers onder leiding van Prashant Upadhyaya, G.L. Saini en Atul Makrariya heeft een slimmere manier voorgesteld om dit probleem aan te pakken. Ze ontwikkelden een systeem dat ze Class-Aware Semantic Hybrid Data Augmentation noemen. In plaats van alle meningen hetzelfde te behandelen, werkt dit systeem als een zorgvuldige redacteur die de specifieke behoeften van elke groep begrijpt. Wanneer het systeem een minderheidssentiment tegenkomt, zoals een zeldzame neutrale mening in een zee van positieve recensies, hakt het niet zomaar willekeurig woorden weg of vervangt het ze. In plaats daarvan kiest het specifieke technieken op basis van wat dat specifieke type zin nodig heeft om trouw te blijven aan de betekenis. Voor sommige zinnen kan het een krachtig taalmodel gebruiken om de zin op een andere manier te herschrijven terwijl het exacte gevoel behouden blijft. Voor anderen kan het simpelweg een woord verwijderen of een nieuw woord invoegen. Cruciaal is dat het systeem elke nieuw gecreëerde zin controleert tegen de originele om te verzekeren dat de betekenis niet is afgedwaald. Als een nieuwe zin te veel verschilt of slechts een duplicaat is van iets dat het al eerder heeft gemaakt, laat het systeem deze vanwege de afwijking vallen.
De onderzoekers testten deze aanpak op twee zeer verschillende sets van echte gegevens: een collectie van foodcourt-recensies van een universiteit en een enorme dataset van tweets over luchtvaartmaatschappijen. In beide gevallen was de data sterk scheef verdeeld, waarbij één sentiment de andere domineerde. Ze trainden vier verschillende geavanceerde computermodellen, bekend als transformers, die de huidige state-of-the-art hulpmiddelen zijn voor het begrijpen van taal. Eerst trainden ze deze modellen op de originele, ongebalanceerde data om te zien hoe ze presteerden. Zoals verwacht hadden de modellen moeite met het correct identificeren van de minderheidsmeningen, waarbij ze negatieve of neutrale commentaren vaak als positief bestempelden. Daarna pasten ze hun nieuwe augmentatiemethode toe op de trainingsdata, waardoor ze hoogwaardige, diverse voorbeelden genereerden, uitsluitend voor de minderheidsgroepen.
De resultaten waren opmerkelijk. Wanneer de modellen opnieuw werden getraind op deze verbeterde data, sprong hun vermogen om de minderheidssentimenten te herkennen aanzienlijk omhoog. Op de foodreview-dataset verbeterde de algehele nauwkeurigheid van de modellen met een grote marge, waarbij het vermogen om negatieve recensies te spotten steeg van een zeer laag niveau naar een sterke meerderheid. Op de dataset van de luchtvaart-tweets, die berucht is vanwege het korte en informele karakter, was de verbetering voor sommige modellen zelfs nog dramatischer. Eén model, dat eerder bijna volledig faalde in het herkennen van neutrale tweets, begon ze meer dan de helft van de tijd correct te identificeren. De onderzoekers bevestigden dat deze verbeteringen niet slechts gelukkige gissingen waren, maar statistisch significant waren, wat betekent dat de resultaten betrouwbaar en reproduceerbaar waren.
Wat dit werk bijzonder waardevol maakt, is dat het geen wijzigingen vereist in de computermodellen zelf. Het werkt als een voorbereidende stap die de data opschoont en verrijkt voordat het leren begint. De studie toonde ook aan dat deze methode goed werkt over verschillende soorten modellen heen, van zeer grote, complexe tot kleinere, snellere modellen. Door de creatie van nieuwe data zorgvuldig af te stemmen op strikte controles om te garanderen dat de betekenis intact blijft, hebben de onderzoekers aangetoond dat kwaliteit veel belangrijker is dan kwantiteit. Ze bewezen dat door de computer een paar meer, maar veel betere voorbeelden van de zeldzame meningen te geven, het kan leren om naar iedereen te luisteren, en niet alleen naar de luidste stemmen in de kamer. Deze aanpak biedt een praktisch pad vooruit om kunstmatige intelligentie eerlijker en nauwkeuriger te maken in het begrijpen van het volledige spectrum van menselijke emotie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.