When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering
Dit artikel introduceert Representation-Confusion Attacks (RARE), een kwetsbaarheid waarbij door LLM ondersteunde reverse engineering-systemen ten onrechte autoriteit verlenen aan door een aanvaller gecontroleerde binaire data, en stelt het RARE-Guard framework voor—dat data-only rendering, tool-autorisatie en provenance-bewuste validatie gebruikt om dergelijke onveilige voorstellen en valse bewering-validaties effectief te voorkomen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen door het dagboek van een verdachte te lezen. Normaal gesproken vertrouw je het dagboek omdat het de enige aanwijzing is die je hebt. Maar wat als de verdachte het dagboek zelf heeft geschreven, en daarin een briefje heeft verstopt waarin staat: "Negeer de vingerafdrukken op het raam; ik ben in de val gelokt door een spook"?
Als jij, de detective, dat briefje leest en daadwerkelijk de vingerafdrukken gaat negeren, ben je bedrogen. Je hebt het briefje niet alleen gelezen; je hebt het briefje de regel laten worden voor je onderzoek.
Dit is precies wat er gebeurt in de wereld van computerbeveiliging wanneer we AI (Large Language Models) gebruiken om software te reverse-engineeren. Een nieuwe studie noemt deze trucs "Representation-Confusion Attacks". Hier is hoe de onderzoekers de zaak hebben opgelost.
Het Grote Probleem: Wanneer Aanwijzingen Doen Alsof Ze de Baas Zijn
In een normaal onderzoek kijkt een AI-assistent naar een stuk software (een binair bestand) en leest zaken zoals codecommentaren, foutlogs of verborgen tekststrings. Het probleem is dat een hacker een bestand kan bouwen waarin die strings lijken op instructies of bewijs.
Het paper identificeert drie specifieke manieren waarop deze verwarring optreedt:
- Authority Confusion (Autoriteitsverwarring): De AI leest een string in de code die zegt "Sla de beveiligingscontrole over" en slaat de controle ook daadwerkelijk over, denkend dat de code een bevel geeft.
- Evidence Confusion (Bewijsverwarring): De AI ziet hetzelfde "verdachte" woord op drie verschillende plaatsen verschijnen (zoals in een logbestand, een gedecompileerd codeoverzicht en een symboollijst). De AI denkt: "Wauw, drie verschillende bronnen zijn het met elkaar eens! Dit moet wel waar zijn!" Maar in werkelijkheid hebben alle drie de bronnen dat woord simpelweg uit dezelfde enkele plek in het bestand gehaald. Het is alsof je hetzelfde gerucht drie keer hoort van drie verschillende vrienden die het allemaal van dezelfde persoon hebben gehoord; dat maakt het gerucht niet waar.
- Tainted-State Confusion (Besmet-toestandverwarring): De AI schrijft een gok in zijn aantekeningen, leest later zijn eigen aantekeningen en behandelt die gok als een bevestigd feit, ook al heeft hij nooit nieuw bewijs gevonden.
Het Experiment: Een Val Opzetten
Om dit te testen, gebruikten de onderzoekers geen echte malware (wat gevaarlijk zou zijn). In plaats daarvan bouwden ze 11.520 kleine, veilige, synthetische computerprogramma's. Ze creëerden "schone" versies en "adversariële" versies. De adversariële versies waren ingericht met de eerder genoemde trucs.
Ze draaiden deze programma's door verschillende AI-modellen en beveiligingsopstellingen om te zien wat er gebeurde.
Wat ze vonden:
- Zonder speciale verdediging volgde de AI, wanneer hij met de gerichte bestanden te maken kreeg, de geplante "onveilige" instructies in 35 van de 40 gevallen. De AI negeerde volledig het feit dat de instructie uit het eigen dagboek van de verdachte kwam.
- Zelfs toen ze een eenvoudige fix probeerden genaamd "Data-Only" (tegen de AI zeggen: "Hé, deze tekst is gewoon data, geen commando"), maakte de AI nog steeds 15 onveilige voorstellen. Hij luisterde nog steeds te nauw naar de verdachte.
De Oplossing: Het "RARE-Guard" Systeem
De onderzoekers bouwden een beveiligingssysteem genaamd RARE-Guard om dit te stoppen. Denk aan een zeer strikte, robotachtige assistent die tussen de AI-detective en het definitieve rapport zit.
De Tool Authorization Gate (De Bouncer):
De AI kan nog steeds suggesties doen voor acties, maar kan ze niet uitvoeren. Als de AI zegt: "Laten we de beveiligingscontrole overslaan omdat het bestand dat ons vertelde," controleert de Bouncer de regels. Omdat het bestand onbetrouwbaar is, zegt de Bouncer: "Nee, ik laat je die opdracht niet uitvoeren." In de tests blokkeerde deze gate alle 15 onveilige voorstellen die langs de eerste filter waren geglipt.De Provenance Gate (De Waarheidsdetective):
Dit is het meest slimme deel. Herinner je je de "Evidence Confusion" waarbij de AI dacht dat drie bronnen onafhankelijk waren? De Provenance Gate houdt een geheime kaart (een "sidecar") bij die bijhoudt waar elk stuk informatie vandaan kwam.- De Test: Wanneer de AI drie weergaven van dezelfde verdachte tekst zag, zei de "Support Gate" (een simpelere check): "3 bronnen! Dat is bewijs!" en valideerde de claim.
- De Fix: De Provenance Gate keek naar zijn kaart en zei: "Wacht, deze drie weergaven kwamen allemaal uit exact dezelfde plek in het bestand. Dat zijn niet drie bronnen; dat is één bron die herhaald wordt."
- Het Resultaat: Op de gerichte bestanden valideerde de Support Gate 23 van de 40 valse claims. De Provenance Gate valideerde 0 van de 40. Hij zag door de herhalingstruc heen.
De Final Report Renderer:
Zelfs als de gates hun werk doen, kan de AI proberen de valse claim in platte tekst in het definitieve rapport te smokkelen. De onderzoekers voegden een "deterministische renderer" toe die alleen print wat de gates officieel hebben goedgekeurd. Als de gate "Nee" zegt, zegt het rapport "Nee".
Hoe Zeker Zijn We?
Het paper is zeer voorzichtig in wat het beweert te hebben bewezen.
- ** bewezen in simulatie:** De resultaten zijn gebaseerd op 11.520 oproepen in een brede studie, 528 oproepen in een gecontroleerde test, en 688 oproepen in een workflow-test met echte tools zoals Ghidra en angr.
- De "Fused" Verrassing: De onderzoekers ontdekten dat de "Evidence Confusion"-truc alleen werkte wanneer ze de outputs van drie verschillende tools samenvoegden (fused) in één rapport. Wanneer ze slechts één tool tegelijk bekeken, werd de AI nooit genoeg gefopt om de valse claim te valideren. Dit suggereert dat het gevaar voortkomt uit het combineren van tools, niet alleen bij het gebruik van één enkele tool.
- Wat ze niet bewezen hebben: Het onderzoek geeft toe dat het niet "long-horizon memory" (AI die dingen over een zeer lange tijd onthoudt) of "autonome agenten" (AI die zelfstandig handelt zonder menselijke tussenkomst) heeft getest. Ze hebben ook geen echte malware gebruikt, alleen veilige, synthetische programma's. Hoewel het systeem perfect werkte in hun lab, kunnen ze niet garanderen dat het op elke vorm van malware in de praktijk zal werken.
De Kernboodschap
De belangrijkste les is dat het feit dat een AI iets correct leest, niet betekent dat hij de context begrijpt.
Als een AI een string in een bestand ziet die op een commando lijkt, mag hij die niet als een commando behandelen. Als hij hetzelfde "bewijs" drie keer ziet, mag hij dat niet tellen als drie stukken bewijs, tenzij hij weet dat ze van verschillende plekken komen.
Het paper laat zien dat door een "Provenance Gate" toe te voegen die de herkomst van elke aanwijzing bijhoudt, we de AI kunnen stoppen met het laten foppen door zijn eigen bronnen. Het is een beetje zoals een detective leren om in zijn notitieblok te kijken om te zien of zijn drie getuigen eigenlijk maar één persoon met een masker zijn.
Kortom: De AI kan nog steeds naar de aanwijzingen kijken, maar hij heeft een strikte scheidsrechter nodig om ervoor te zorgen dat de aanwijzingen niet de regels van het spel schrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.