Privacy-Preserving Data Drift Detection and Recovery for Large-Scale LLM Applications via Proxy Representations
Dit artikel introduceert ProxyDrift, een privacy-bewarend framework dat data drift detecteert en herstelt in grootschalige LLM-applicaties door niet-PII proxy-representaties te analyseren om productieverkeer continu te monitoren en gerichte synthetische evaluatiedatasets te generen zonder toegang te krijgen tot ruwe gebruikersdata.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de chef-kok bent van een enorm, bruisend restaurant dat dagelijks miljoenen mensen bedient. Je wilt ervoor zorgen dat je eten heerlijk is, dus je proeft nieuwe recepten in een stille keuken voordat je ze serveert. Maar hier komt de adder onder het gras: de klanten in de eetzaal dragen maskers, en de strikte privacyregels van het restaurant verbieden je om ooit hun gezichten te zien of hun specifieke bestellingen te horen. Je kunt niet naar buiten lopen, niet op de menu's gluren of vragen: "Wat heb je net gegeten?" Je weet alleen dat mensen aan het eten zijn, en je moet raden wat ze willen op basis van een klein, anoniem briefje dat op de tafel is achtergelaten.
Dit is de dagelijkse realiteit voor de gigantische AI-chatbots die ons moderne digitale leven voeden. Deze Large Language Models (LLM's) zijn als superchefs die code schrijven, e-mails opstellen en documenten creëren voor honderden miljoenen gebruikers. Maar vanwege strikte privacywetgeving kunnen de bedrijven die deze AI's beheren de werkelijke vragen die mensen stellen of de antwoorden die zij krijgen, niet inzien. Ze vliegen blind. Als de "klanten" (gebruikers) plotseling heel andere dingen gaan vragen — zoals overstappen van het schrijven van poëzie naar het debuggen van code — kan de trainingsdata van de AI verouderd raken. Dit wordt "data drift" genoemd. Zonder het werkelijke verkeer te zien, blijft de AI misschien hetzelfde oude menu serveren aan mensen die iets nieuws willen, wat leidt tot slechte ervaringen. De grote vraag is: hoe verbeter je een recept als je niet de toestemming hebt om het eten te proeven?
Maak kennis met PROXYDRIFT, een slim nieuw framework ontwikkeld door onderzoekers van Microsoft dat dit puzzelstukje oplost zonder ooit de privacyregels te schenden. Denk aan het als een magische vertaler die geheime klantbestellingen omzet in een eenvoudige, veilige checklist. In plaats van naar de ruwe tekst van de vraag van een gebruiker te kijken (die privé is), gebruikt het systeem een AI om de vraag te classificeren in een reeks niet-gevoelige "tags". In plaats van bijvoorbeeld "Schrijf een eng verhaal over een spookachtige broodrooster te zien, ziet het systeem alleen een lijst met tags: Intent: Creatief Schrijven, Toon: Griezelig, Formaat: Verhaal, Lengte: Medium. Deze tags zijn de "proxy-representaties". Ze leggen de vorm en de stijl van het gesprek vast zonder de werkelijke woorden te bewaren.
Het artikel laat zien dat het team door deze tags te gebruiken, drie geweldige dingen kan doen. Ten eerste kunnen ze meten hoe verschillend de huidige gebruikersverzoeken zijn van hun oude testdata. Ze gebruiken een speciale wiskundige score (een "chance-calibrated alignment score") om te zien of hun testmenu overeenkomt met de echte eetzaal. Als de score laag is, weten ze dat ze niet meer synchroon lopen. Ten tweede kunnen ze een volledig nieuw testmenu bouwen dat de echte gebruikers perfect nabootst. Ze gebruiken een slimme bemonsteringsmethode (gebaseerd op iets dat een "Chow-Liu tree" wordt genoemd, wat een soort stamboom is voor hoe verschillende tags meestal samenhangen) om duizenden nep maar realistische vragen te genereren die overeenkomen met de huidige trends. Ten slotte kunnen ze achterhalen welke soorten vragen gebruikers ongelukkig maken. Door de tags te koppelen aan eenvoudige "duim omhoog" of "duim omlaag" feedback, kunnen ze knelpunten opsporen — zoals het inzien dat gebruikers gefrustreerd raken wanneer ze vragen over specifieke Excel-formules — zonder ooit een enkele privé spreadsheet van een gebruiker te lezen.
In hun experimenten ontdekten de onderzoekers dat hun nieuwe methode ongelooflijk goed werkt. Wanneer ze hun oude, handgekozen testsets vergeleken met de echte wereld, waren de oude sets een slechte match (ze scoorden slechts ongeveer 0,28 van de 1). Maar de nieuwe, door AI gegenereerde testsets kwamen bijna perfect overeen met de echte wereld (ze scoorden ongeveer 0,91). Ze testten ook of een mens het verschil kon zien tussen de vraag van een echte gebruiker en de nepvraag van de AI; zonder speciale aanwijzingen kon de mens het verschil niet zien. Het belangrijkste is dat ze dit systeem gebruikten om een echt probleem in Microsoft Copilot op te lossen. Door op te merken dat gebruikers ontevreden waren over hoe de AI met Excel-grafieken en formules omging, hebben ze het systeem aangepast om meer aandacht te besteden aan die specifieke details. Het resultaat? De AI werd veel beter in het beantwoorden van die specifieke vragen, wat bewijst dat je een massaal AI-systeem kunt verbeteren en het kunt afstemmen op je gebruikers, terwijl je de privédata van iedereen volledig veilig houdt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.