Provenance Guided Incremental Learning Under Evolving Concept Definitions
Dit artikel introduceert een op herkomst geleid incrementeel leerkader dat machine learning-modellen efficiënt aanpast aan expliciete door regels geïnduceerde conceptverschuivingen door de getroffen records automatisch te herlabelen en alleen selectief te hertrainen op gewijzigde componenten, waardoor de computationele latentie en gegevensverwerking aanzienlijk worden verminderd terwijl een hoge nauwkeurigheid behouden blijft in vergelijking met volledige hertraining.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van machine learning worden computers vaak getraind om voorspellingen te doen door patronen in gegevens te bestuderen. Stel je een systeem voor dat is getraind om frauduleuze banktransacties op te sporen. Het leert wat een normale transactie is en wat een verdachte transactie is, gebaseerd op de regels en definities die door de makers zijn vastgesteld. Echter, de echte wereld is niet statisch. De regels die definiëren wat als "fraude" telt, kunnen veranderen. Een bank kan besluiten dat een transactie pas verdacht is als deze een bepaald bedrag overschrijdt, of als deze uit een specifiek land komt, of als het een nieuw type apparaat betreft. Wanneer deze definities veranderen, wordt de oude training van de computer verouderd. De gegevens die het gisteren bestudeerde zijn nog steeds hetzelfde, maar de betekenis van het antwoord is verschoven. Dit creëert een moeilijk probleem: hoe update je een leersysteem wanneer de definitie van de waarheid zelf is herschreven, zonder dat je alles wat het heeft geleerd weg hoeft te gooien en opnieuw moet beginnen?
Lama tijd hebben onderzoekers dit aangepakt door te wachten op fouten. Ze wachten tot de computer fouten begint te maken, concluderen dat er iets veranderd is, en proberen dan het model aan te passen. Maar deze aanpak is traag en mist vaak het doel. Het behandelt de verandering als een mysterie dat door gissen moet worden opgelost, in plaats van als een bekende feit waar actie op ondernomen kan worden. In veel real-world systemen is de verandering helemaal geen mysterie; het is een bewuste update van een beleid of een regel. De nieuwe definitie is onmiddellijk bekend. De uitdaging is om te achterhalen welke van de miljoenen eerdere records daadwerkelijk geëvalueerd moeten worden vanwege deze nieuwe regel, en welke met rust gelaten kunnen worden omdat ze er geen invloed door worden getroffen.
Een nieuwe studie introduceert een methode die dit probleem benadert als een zorgvuldige audit in plaats van een blinde gok. De onderzoekers hebben een systeem ontwikkeld dat de oude regel en de nieuwe regel naast elkaar legt om het exacte verschil tussen hen te vinden. Vervolgens volgt het systeem hoe dat specifieke verschil verbonden is met de geschiedenis van de gegevens uit het verleden. Door deze verbindingen te volgen, kan het systeem een kleine groep records identificeren die werkelijk door de verandering worden beïnvloed. Het kan ook bewijzen dat de overgrote meerderheid van de records veilig is en niet aangepast hoeft te worden. Dit stelt de computer in staat om zijn kennis bij te werken door zich alleen te concentreren op het kleine, relevante deel van de gegevens, terwijl de rest van zijn begrip intact blijft.
De onderzoekers testten deze aanpak op een breed scala aan real-world scenario's, waaronder financiële transacties, demografische gegevens, cybersecurity-logs en complexe netwerken van relaties. Ze creëerden een reeks uitdagingen waarbij de regels voor het labelen van gegevens op verschillende manieren werden gewijzigd: door een drempelwaarde te verhogen of te verlagen, door een nieuwe voorwaarde toe te voegen, door een oude te verwijderen, of door te veranderen hoe verschillende voorwaarden gecombineerd worden. In elk geval was de nieuwe methode in staat om de records die aandacht nodig hadden met hoge precisie te identificeren. In plaats van elk afzonderlijk record in de database opnieuw te controleren, verwerkte het systeem slechts ongeveer 15 procent van de gegevens. Ondanks dat het zo weinig gegevens bewerkte, behield het een nauwkeurigheid van 92,3 procent, wat bijna identiek was aan het resultaat van het volledig opnieuw controleren van de database.
De snelheid van dit proces was het meest opmerkelijke resultaat. Wanneer de onderzoekers het systeem dwongen om de volledige geschiedenis van de gegevens opnieuw te labelen en te hertrainen, duurde de update gemiddeld 993 seconden. Met de nieuwe methode duurde dezelfde update slechts 179 seconden. Dit vertegenwoordigt een reductie in tijd van meer dan vijf keer. Het systeem bereikte dit door een "provenance"-kaart te gebruiken, wat in essentie een verslag is van hoe elke beslissing uit het verleden tot stand is gekomen. Als een beslissing uit het verleden steunde op een deel van de regel dat niet veranderde, weet het systeem dat de beslissing nog steeds geldig is. Als een beslissing steunde op een deel dat wel veranderde, markeert het systeem dit voor beoordeling. Dit stelt de computer in staat te certificeren dat het grootste deel van zijn kennis uit het verleden nog steeds correct is en alleen tijd te besteden aan de delen die defect zijn.
De studie behandelde ook wat er gebeurt wanneer de nieuwe regel niet perfect duidelijk is. Soms kan een herziene policy afhankelijk zijn van informatie die ontbreekt of menselijk oordeel vereist. In die gevallen raadt het systeem niet. In plaats daarvan identificeert het de specifieke records waar de nieuwe regel ambigu is en vraagt het om hulp aan een mens, maar alleen voor die specifieke gevallen. Dit maakt het gebruik van menselijke experts veel efficiënter, omdat zij geen tijd verspillen aan records die de computer zelf kan afhandelen. Bovendien houdt het systeem een geheugen bij van eerdere versies van de regels. Als een regel verandert en vervolgens teruggaat naar een vorige versie, kan het systeem de oude configuratie en de bijbehorende gegevens onmiddellijk herinneren, in plaats van het patroon opnieuw te moeten leren.
De onderzoekers ontdekten dat deze aanpak goed werkt bij verschillende soorten gegevens, van eenvoudige lijsten met getallen tot complexe netwerken van verbindingen. Ze merkten echter ook de beperkingen ervan op. De methode is het meest effectief wanneer de verandering in de regel gelokaliseerd is en slechts een klein deel van de gegevens beïnvloedt. Als een nieuwe regel de betekenis van bijna elk record verandert, moet het systeem bijna alles opnieuw controleren, en verdwijnt het snelheidsvoordeel. Evenzo, als de geschiedenis van hoe beslissingen zijn genomen niet is vastgelegd, kan het systeem niet gemakkelijk vertellen welke records veilig zijn, en moet het voorzichtiger zijn, waardoor het meer gegevens moet controleren dan het anders zou doen.
Uiteindelijk verschuift dit werk het perspectief op hoe leersystemen zich aanpassen. In plaats van te wachten tot fouten verschijnen en dan te reageren, kan het systeem de expliciete kennis van een regelwijziging gebruiken om zijn begrip chirurgisch bij te werken. Het bewijst dat door de structuur van de verandering te begrijpen en hoe deze met de geschiedenis verbonden is, een computer kan behouden wat hij al weet, terwijl hij efficiënt repareert wat is veranderd. Dit stelt leersystemen in staat om accuraat en responsief te blijven over lange perioden, waarbij ze zich aanpassen aan nieuwe policies zonder de zware kosten van constante, totale hertraining.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.