HOMEOSTASIS: Closed-Loop Cryptographic Provenance and Homeostatic Control for Detecting and Mitigating Generative Model Collapse
Dit artikel introduceert HOMEOSTASIS, een closed-loop framework dat cryptografische herkomst integreert met homeostatische controlesystemen om het instorten van generatieve modellen te detecteren en te mitigeren, waarbij significante verbeteringen worden aangetoond in het behoud van distributionele diversiteit door middel van realtime monitoring en adaptieve datamenging.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne tijdperk van kunstmatige intelligentie zijn krachtige computerprogramma's, bekend als generatieve modellen, verantwoordelijk voor het creëren van enorme hoeveelheden tekst, afbeeldingen en code. Jarenlang leerden deze systemen door het bestuderen van de rommelige, diverse en authentieke data die te vinden waren op het open internet, wat diende als een surrogaat voor menselijke creativiteit. Echter, een nieuw en subtiel probleem ontstaat nu dat deze modellen dominanter worden. Omdat het internet nu overspoeld wordt met content die door dezezelfde machines is gecreëerd, worden toekomstige versies van de modellen steeds vaker getraind op de output van hun voorgangers. Dit creëert een recursieve lus waarbij de machine leert van zijn eigen werk. Na verloop van tijd zorgt dit proces ervoor dat het model de verbinding met de oorspronkelijke menselijke data verliest, waardoor het begrip vernauwt en de zeldzame, ongewone of "staart"-uiteinden van de informatie die het ooit kende, uitgewist worden. Dit fenomeen, bekend als model collapse (modelinstorting), bedreigt de kwaliteit en diversiteit van toekomstige kunstmatige intelligentie, waardoor een rijke, gevarieerde wereld verandert in een vlakke, repetitieve echo.
Om dit dreigende probleem aan te pakken, heeft een onderzoeker aan de University of Liberal Arts Bangladesh een systeem voorgesteld genaamd HOMEOSTASIS. De naam is geleend uit de biologie en verwijst naar de manier waarop levende organismen een stabiele interne omgeving behouden ondanks externe veranderingen. In deze context fungeert het systeem als een zelfregulerend mechanisme voor kunstmatige intelligentie-training. Het combineert twee verschillende ideeën die voorheen afzonderlijk waren ontwikkeld: het vermogen om de oorsprong van digitale content te volgen en het vermogen om de stabiliteit van een lerend model te controleren. Het kernidee is om het trainingsproces te behandelen als een levend systeem dat constante monitoring nodig heeft. Als het systeem detecteert dat het model afwijkt van gezonde, menselijke patronen, past het automatisch de mix van de gebruikte data aan, om ervoor te zorgen dat verse, geverifieerde menselijke informatie de basis van het leren blijft vormen.
Het framework werkt via een gesloten lus van waarneming en actie. Ten eerste wordt elk stuk content dat door een model wordt gegenereerd voorzien van een cryptografische handtekening en een statistisch watermerk, wat een digitale zegel creëert die het koppelt aan een permanent, onveranderlijk record. Dit stelt het systeem in staat om de kosten van ongedetecteerde contaminatie te verhogen en onweerlegbaar bewijs te leveren van de afstamming van content, hoewel het geen absolute cryptografische zekerheid biedt over de vraag of een specifiek stuk data menselijk of door een machine gegenereerd is. Ten tweede monitort het systeem voortdurend de "vitale functies" van het model. Deze functies omvatten hoe onzeker het model is bij het doen van voorspellingen, hoe goed zijn vertrouwen overeenkomt met de realiteit, en hoeveel zijn interne begrip is afgeweken van de oorspronkelijke menselijke data. Deze metingen worden gevoed aan een controller die fungeert als een thermostaat. Als de vitale functies aangeven dat het model instabiel wordt of zijn diversiteit verliest, grijpt de controller automatisch in. Het past de ratio van de data die voor de volgende ronde van training wordt gebruikt aan, waarbij de hoeveelheid geverifieerde menselijke data wordt verhoogd en de afhankelijkheid van synthetische, door machines gegenereerde content wordt verminderd. In sommige gevallen kan het ook verdachte synthetische monsters die niet voldoen aan de herkomstcontrole quarantenen of verwijderen.
Om te testen of deze aanpak werkt, bouwde de onderzoeker een referentie-implementatie en voerde een reeks simulaties uit met behulp van een vereenvoudigd wiskundig model. Het experiment vergeleek een standaard trainingsproces zonder interventie met verschillende variaties van het HOMEOSTASIS-systeem. De resultaten waren opmerkelijk voor het systeem dat de automatische controller gebruikte. Zonder enige interventie nam het risico op modelinstorting aanzienlijk toe over twintig generaties, en het verloor ongeveer een derde van zijn vermogen om de zeldzame, buitenste randen van de datadistributie te vertegenwoordigen. In contrast hiermee hield het systeem met de homeostatische controller het risico laag en behield het bijna de volledige diversiteit. De controller detecteerde succesvol de vroege tekenen van degradatie en corrigeerde de datamix voordat de schade zichtbaar werd in de uiteindelijke output.
De studie onthulde echter ook een verrassende beperking met betrekking tot de rol van provenance, oftewel het volgen van de oorsprong van content. De onderzoekers hadden de hypothese dat weten precies welke stukken data synthetisch waren, het systeem nog effectiever zou maken, bijvoorbeeld door het chirurgisch te verwijderen van slechte data. Toch lieten de experimenten zien dat het toevoegen van deze laag van provenance-gebaseerde quarantaine geen detecteerbaar voordeel bood boven de controller alleen. De reden hiervoor was dat de controller zo effectief was in zijn taak, dat hij het aandeel menselijke data in de trainingsset snel verhoogde naar bijna honderd procent. Zodra het systeem bijna volledig menselijke data gebruikte, was er weinig synthetisch materiaal over om te quarantenen, waardoor de extra stap van het volgen van de herkomst overbodig werd in deze specifieke setting. Dit suggereert dat hoewel het volgen van de bron van data waardevol is, de primaire verdediging tegen instorting de actieve, automatische aanpassing van de datamix zelf is.
De bevindingen gaan gepaard met belangrijke kanttekeningen. De tests werden uitgevoerd op een vereenvoudigd wiskundig model in plaats van op de complexe taal- of beeldgeneratoren die in de echte wereld worden gebruikt. De simulatie ging ervan uit dat menselijke data in onbeperkte hoeveelheden beschikbaar was, wat in de praktijk niet altijd het geval is. Bovendien werd het systeem getest tegen een scenario waarin synthetische data simpelweg werd gemengd, in plaats van tegen een geavanceerde tegenstander die probeert het systeem te misleiden. Ondanks deze beperkingen demonstreert de studie dat een feedbacklus, die de gezondheid van een model continu monitort en de dieet van data aanpast, de degradatie van kunstmatige intelligentie kan voorkomen. Het biedt een praktisch pad vooruit waarbij de zeer instrumenten die synthetische content creëren, ook gebruikt kunnen worden om hun eigen gebruik te reguleren, om zo te garanderen dat toekomstige modellen geworteld blijven in de rijkdom van de menselijke ervaring.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.