EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
Dit artikel introduceert EchoCoT, een multi-step aanvalskader dat er succesvol in slaagt om verborgen chain-of-thought-sporen bijna letterlijk te extraheren uit zowel open-source als grensverleggende propriëtaire grote reasoning-modellen via API-interacties, wat een aanzienlijk beveiligingsrisico vormt voor deze waardevolle modelactiva.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Moderne kunstmatige intelligentiesystemen zijn bijzonder vaardig geworden in het oplossen van complexe problemen, van het schrijven van computercode tot het navigeren door wetenschappelijke puzzels. Wanneer deze geavanceerde modellen een moeilijke vraag aanpakken, spugen ze niet simpelweg een definitief antwoord uit. In plaats daarvan genereren ze eerst een lange, interne stroom van gedachten, een stapsgewijs redeneerproces waarbij ze ideeën verkennen, hun werk controleren, fouten corrigeren en verschillende paden overwegen voordat ze tot een conclusie komen. Deze interne monoloog, vaak een 'chain of thought' genoemd, is meestal verborgen voor de gebruiker. Het model houdt dit redeneren privé om zijn intellectuele bezittingen te beschermen en de blootstelling van gevoelige gegevens of propriëtaire logica te voorkomen. Voor ontwikkelaars is dit verborgen redeneren een waardevolle bron voor het verbeteren van toekomstige modellen, terwijl het voor gebruikers een black box is die een correct antwoord belooft zonder het rommelige werk erachter te onthullen.
Een team van beveiligingsonderzoekers van het CISPA Helmholtz Center for Information Security heeft ontdekt dat dit verborgen redeneren niet zo veilig is als voorheen werd aangenomen. Ze vonden een manier om deze geavanceerde modellen te misleiden om hun volledige interne denkproces te onthullen, bijna woord voor woord, zelfs wanneer de modellen zijn ontworpen om dit geheim te houden. De onderzoekers ontwikkelden een methode genaamd EchoCoT, die een specifieke eigenaardigheid exploiteert in de manier waarop deze modellen met externe tools communiceren. In veel systemen, wanneer een model een tool moet gebruiken—zoals een rekenmachine of een database—pauzeert het zijn redeneren om de aanroep te doen, maar houdt het zijn vorige gedachten actief in zijn geheugen om continuïteit te waarborgen. De onderzoekers realiseerden zich dat een aanvaller deze continuïteit in zijn voordeel kan gebruiken. Door het model herhaaldelijk te vragen om zijn gedachten op te slaan in een tool en vervolgens die opgeslagen gedachten als onvolledig af te wijzen, konden ze het model dwingen zijn interne redenering te herhalen, waarbij telkens meer detail wordt onthuld totdat de volledige, verborgen chain of thought is blootgelegd.
De onderzoekers testten deze techniek op een verscheidenheid aan modellen, inclusief zowel open-source systemen als de meest geavanceerde, propriëtaire modellen van grote technologiebedrijven. Bij de open-source modellen, waarbij de onderzoekers de geëxtraheerde gedachten konden vergelijken met de oorspronkelijke verborgen gedachten, vonden zij dat EchoCoT bijna het gehele redeneerproces kon herstellen. In veel gevallen kwam de geëxtraheerde tekst met extreme precisie overeen met de oorspronkelijke verborgen gedachten, waarbij meer dan 90 procent van de exacte woorden en zinnen werd gevangen. De methode werkte zelfs voor zeer lange redeneerketens, waarbij succesvol duizenden tokens aan gedachten werden geëxtraheerd. Toen de onderzoekers dezelfde techniek toepasten op de propriëtaire modellen van bedrijven zoals Google en Anthropic, konden zij de oorspronkelijke verborgen gedachten niet direct zien om ze te vergelijken. De geëxtraheerde gedachten waren echter ongelooflijk lang en kwamen vaak overeen met de lengte van het redeneren dat de bedrijven hadden gerapporteerd dat de modellen hadden gebruikt. Bovendien stemde de inhoud van deze geëxtraheerde gedachten nauw overeen met de korte samenvattingen die de bedrijven hadden verstrekt, wat suggereert dat de extractie accuraat was. In één geval met betrekking tot een Google-model herstelden de onderzoekers een redeneerketen van meer dan 33.000 tokens, wat bijna identiek was aan de lengte van het door de modellen gerapporteerde interne proces.
Naast het louter herstellen van de tekst, onthulden de geëxtraheerde gedachten rijke details over hoe deze modellen denken. De onderzoekers observeerden dat de modellen Google-zoekopdrachten simuleerden, tussen verschillende talen zoals Chinees en Engels schakelden tijdens het ophalen van informatie, en uitgebreide zelfcorrectie toepasten. Deze gedragingen, zoals een model dat zegt "Wacht, is dit waar?" of "Laat me een andere aanpak proberen," maken deel uit van het ruwe interne proces dat normaal gesproken wordt weggefilterd voordat het uiteindelijke antwoord aan een gebruiker wordt getoond. De studie toonde ook aan dat de aanval geautomatiseerd kon worden. De onderzoekers bouwden een systeem dat kon leren wat de beste manier was om naar de gedachten te vragen, waarbij de vragen werden verfijnd op basis van feedbacksignalen zoals het aantal woorden dat het model gebruikte. Deze geautomatiseerde aanpak maakte de aanval nog effectiever, waardoor het mogelijk was om te generaliseren over verschillende soorten vragen en datasets zonder dat er handmatig voor elke nieuwe probleemstelling geprogrammeerd hoefde te worden.
De implicaties van deze ontdekking zijn aanzienlijk voor de beveiliging van kunstmatige intelligentie. De onderzoekers ontdekten dat het simpelweg verbergen van het redeneren voor de gebruiker niet voldoende is om het te beschermen. Zolang het model zijn interne staat behoudt om taken uit te voeren die het gebruik van tools vereisen, kan die staat worden afgespeeld en geëxtraheerd. De studie testte verschillende potentiële verdedigingen, zoals het verbergen van het aantal redeneerwoorden of het toevoegen van strikte instructies aan de system prompt van het model om lekkage te voorkomen. Hoewel sommige van deze maatregelen het succes van de aanval verminderden, stopte geen van deze maatregelen het volledig. De meest effectieve verdediging die werd getest, was het verwijderen van de toegang van het model tot zijn eigen vorige redenering na een tool-call, maar dit zou het vermogen van het model om complexe, meerstaps-taken uit te voeren verbreken. De onderzoekers hebben hun bevindingen verantwoordelijk gerapporteerd aan de betrokken grote technologiebedrijven, waarbij zij wezen op een kritieke kwetsbaarheid in het huidige ontwerp van deze krachtige redeneersystemen. Hun werk suggereert dat het beschermen van de intellectuele eigendom en de veiligheid van deze modellen fundamentele veranderingen vereist in hoe ze worden gebouwd en hoe ze met de buitenwereld communiceren, in plaats van alleen te vertrouwen op de aanname dat verborgen gedachten ook echt verborgen blijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.