Mitigating Sample-Level Imbalance via Probabilistic Separation for Adaptive Multimodal Fusion
Dit artikel stelt een nieuw raamwerk voor dat de modaliteitsimbalans op sampleniveau in multimodale leerprocessen mitigeert door gebruik te maken van een Modality Gap-metriek en een Gaussian Mixture Model om samples probabilistisch te scheiden in gebalanceerde en ongebalanceerde subgroepen, waardoor een dynamisch tweestaps trainingsproces mogelijk wordt dat optimalisatieprioriteiten adaptief herverdeelt en data zuivert voor superieure prestaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Menselijke wezens nemen de wereld waar via een symfonie van zintuigen, waarbij zicht, geluid en tast gecombineerd worden om een rijker begrip te creëren dan welk enkelvoudig zintuig dat alleen zou kunnen bieden. In het vakgebied van kunstmatige intelligentie streven onderzoekers ernaar om deze vaardigheid te repliceren door systemen te bouwen die meerdere soorten gegevens tegelijkertijd kunnen verwerken, zoals video en audio. Deze aanpak, bekend als multimodale leerprocessen, heeft veelbelovende resultaten getoond bij taken zoals het herkennen van emoties in spraak of het identificeren van gebeurtenissen in video's. Echter, een hardnekkig probleem heeft deze systemen ervan weerhouden hun volledige potentieel te bereiken. Wanneer een computer leert van zowel zicht als geluid, wordt één zintuig vaak dominant, waardoor het andere effectief wordt overstemd. Als de visuele gegevens helder zijn en de audio ruis bevat, leert het systeem zich bijna volledig op de beelden te baseren, waarbij het geluid wordt genegeerd. Dit creëert een onbalans waarbij het zwakkere zintuig niet verbetert, en het gecombineerde systeem slechter presteert dan het zou moeten, soms zelfs minder goed dan een systeem dat alleen het sterkere zintuig gebruikt.
Een team van onderzoekers heeft een nieuwe methode ontwikkeld om dit probleem op te lossen door elk afzonderlijk voorbeeld in de trainingsdata individueel te behandelen, in plaats van de gehele dataset als een uniforme blok te behanderen. Zij ontdekten dat er binnen elke collectie video- en audiofragmenten twee verschillende soorten voorbeelden zijn. Sommige fragmenten zijn goed gebalanceerd, waarbij de visuele en audio-informatie even helder en nuttig zijn. Andere zijn ongebalanceerd, waarbij één zintuig zo veel sterker is dan het andere dat het verwarring veroorzaakt tijdens het leerproces. De onderzoekers ontdekten dat deze twee groepen voorbeelden van nature aparte clusters vormen binnen de data, vergelijkbaar met hoe een menigte zich van nature in twee duidelijke groepen kan splitsen op basis van lengte. Door te identificeren bij welke groep de voorbeelden horen, kan het systeem leren om ze verschillend te behandelen, wat ervoor zorgt dat het zwakkere zintuig de aandacht krijgt die het nodig heeft om in te halen.
De kern van hun oplossing bestaat uit een tweestaps trainingsproces. Eerst krijgt de computer een "opwarmperiode" waarin het de basis van beide zintuigen leert zonder speciale aanpassingen. Tijdens deze tijd registreert het systeem hoe sterk de voorspellingen van de visuele tak en de audio-tak van elkaar verschillen voor elk afzonderlijk fragment. Deze onenigheid wordt gemeten als een "modaliteitskloof". Na deze initiële fase analyseerden de onderzoekers de verdeling van deze kloven en bevestigden hun vermoeden: de data splitste zich van nature op in een grote groep gebalanceerde voorbeelden en een kleinere groep ongebalanceerde voorbeelden. Om gebruik te maken van deze ontdekking, gebruikten zij een statistisch hulpmiddel om deze twee groepen in kaart te brengen en de waarschijnlijkheid te berekenen dat een nieuw voorbeeld tot de gebalanceerde groep of de ongebalanceerde groep behoort.
Met deze kaart in de hand gaat het systeem over naar zijn tweede, adaptieve trainingsfase. Hier verandert de computer zijn leerstrategie op basis van de waarschijnlijkheidsscore van elk voorbeeld. Voor de voorbeelden die goed gebalanceerd zijn, richt het systeem zich op het samenvoegen van de twee zentuigen om het voordeel van hun gecombineerde informatie te maximaliseren. Voor de voorbeelden die ongebalanceerd zijn, waarbij één zintuig moeite heeft, past het systeem een sterkere straf toe om de twee zintuigen nauwer met elkaar te laten aansluiten. Deze aanpak zorgt ervoor dat de computer de moeilijke voorbeelden niet simpelweg negeert, maar in plaats daarvan harder werkt om de bias in die specifieke gevallen te corrigeren. De onderzoekers introduceerden ook een mechanisme dat de intensiteit van deze correctie in de loop van de tijd geleidelijk vermindert, waardoor het systeem zijn focus kan verschuiven van het herstellen van onbalans naar het perfectioneren van de uiteindelijke classificatie taak terwijl het leert.
De resultaten van deze aanpak werden getest op drie verschillende datasets met betrekking tot spraakemotieherkenning, gebeurtenislokalisatie en menselijke actieherkenning. Op de dataset voor spraakemotie, die meer dan 7.000 videofragmenten bevatte, bereikte de nieuwe methode een nauwkeurigheid van 80,65 procent, waarmee het eerdere state-of-the-art methoden aanzienlijk overtrof. Vergelijkbare verbeteringen werden gezien op de andere twee datasets, met nauwkeurigheidspercentages van respectievelijk 70,40 procent en 72,61 procent. Naast het verbeteren van de uiteindelijke score, observeerden de onderzoekers dat de methode erin slaagde de prestatiekloof tussen de audio- en de visuele tak te verkleinen, waardoor het zwakkere zintuig kon verbeteren zonder de kracht van het dominante zintuig op te offeren.
In een verder experiment toonden de onderzoekers aan dat het statistische model gebruikt kan worden om de data zelf te filteren. Door alleen de hoogwaardige, gebalanceerde voorbeelden te selecteren die door hun model zijn geïdentificeerd, waren zij in staat het systeem te verfijnen op een veel kleinere subset van de data. Zelfs met minder voorbeelden presteerde het systeem beter dan wanneer het getraind werd op de volledige, ongefilterde dataset. Dit suggereert dat de methode niet alleen helpt de computer efficiënter te laten leren, maar ook fungeert als een krachtig instrument voor het opschonen van ruis in de data, waardoor wordt gegarandeerd dat het systeem leert van de meest betrouwbare voorbeelden die beschikbaar zijn. De studie concludeert dat door te erkennen en te adapteren aan de natuurlijke variaties in datakwaliteit op het niveau van het monster, multimodale systemen de beperkingen van traditionele trainingsmethoden kunnen overwinnen en een robuuster en nauwkeuriger begrip van de wereld kunnen bereiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.