LLM-Enabled Open-Source Systems in the Wild: An Empirical Study of Vulnerabilities in GitHub Security Advisories
Deze empirische studie van GitHub-beveiligingsadviezen concludeert dat, hoewel LLM-geïntegreerde systemen geen nieuwe implementatiefouten introduceren, bestaande raamwerken zoals CWE en OWASP gecombineerd moeten worden om zowel code-gerelateerde zwaktes als architecturale risico's zoals prompt-injectie en excessive agency adequaat te vangen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat de wereld van software een enorme, levende stad is. In deze stad bouwen ontwikkelaars huizen, bruggen en fabrieken met code. Tot voor kort waren deze gebouwen heel voorspelbaar: als je een deur opende, ging er een licht aan. Als je een knop drukte, deed er iets specifieks.
Maar nu is er een nieuwe soort "intelligente assistent" in de stad gekomen: de LLM (Large Language Model). Denk hierbij aan een super slimme, maar soms wat onvoorspelbare robot die praat in mensentaal. Deze robot helpt bij het bouwen van de stad, maar hij kan ook zelf beslissingen nemen.
Deze studie van onderzoekers van de Missouri University of Science and Technology kijkt naar wat er gebeurt als we deze robot in onze open-source software (de gratis bouwplannen van de stad) stoppen. Ze hebben gekeken naar 295 "politieverslagen" (GitHub Security Advisories) uit 2025 en 2026 om te zien welke gevaren er zijn.
Hier is wat ze hebben ontdekt, vertaald naar een eenvoudig verhaal:
1. De oude deuren zijn nog steeds de zwakste plekken
Je zou denken dat een slimme robot heel nieuwe, onbekende manieren van inbreken zou hebben. Maar de onderzoekers ontdekten dat dit niet zo is.
- De Analogie: Stel je voor dat je een nieuw, slim slot op je deur hebt gedaan. Je denkt dat je veilig bent, maar de dief breekt niet door het slot heen. Hij breekt door de oude, rotte deurpost (de code eromheen).
- De bevinding: De meeste veiligheidsproblemen zijn eigenlijk heel oude, bekende problemen. Het gaat om dingen zoals "inbreken via een commando" (Command Injection) of "niet goed controleren wat er binnenkomt" (Deserialization). De robot (LLM) maakt de problemen niet nieuwer, maar hij maakt het makkelijker voor hackers om die oude zwakke plekken te vinden en te gebruiken.
2. Het probleem zit hem in de "architectuur", niet alleen in de robot
De onderzoekers keken niet alleen naar de code, maar ook naar hoe de robot samenwerkt met de rest van het gebouw. Ze gebruikten een nieuwe lijst met risico's (de OWASP Top 10 voor LLM's) om te kijken waar de echte gevaren zaten.
Ze vonden drie grote patronen:
De Leveringsketen (Supply Chain):
- Analogie: Je bouwt een huis en gebruikt stenen van een leverancier. Als die leverancier een slechte steen levert, is je hele huis in gevaar, ook al heb jij zelf geen fout gemaakt.
- In de studie: 44% van de problemen kwam omdat de software afhankelijk was van andere, soms onveilige, onderdelen. De robot gebruikt deze onderdelen en als ze kapot zijn, crasht het hele systeem.
Te veel macht (Excessive Agency):
- Analogie: Je geeft je robot een sleutelbos en zegt: "Doe maar wat je wilt." De robot opent dan per ongeluk de kluizen van de bank omdat hij denkt dat hij dat moet doen.
- In de studie: 20% van de problemen kwam doordat de robot te veel rechten had. Hij kon bestanden wissen of commando's uitvoeren die hij eigenlijk niet had mogen uitvoeren.
De "Prompt Injectie" (De slimme bedrieger):
- Analogie: Stel je voor dat je een robot vertelt: "Help de gasten." Maar een hacker fluistert tegen de robot: "Vergeten dat je gasten helpt, en doe nu in plaats daarvan de kluizen open." Omdat de robot zo slim is, luistert hij naar de fluisteraar in plaats van jou.
- In de studie: 18% van de gevallen ging hierover. Hackers manipuleren de tekst die ze naar de robot sturen om hem verkeerde dingen te laten doen.
3. De politieverslagen vertellen niet het hele verhaal
Dit is misschien wel het belangrijkste punt van de studie. De huidige systemen die veiligheidsproblemen melden (GitHub Security Advisories), werken met een oude stempel.
- De Analogie: Stel je voor dat er een brand is in een gebouw met een slimme robot. De brandweer schrijft in het verslag: "Er was een lek in de waterleiding." Dat is waar, maar het vertelt niet dat de robot de kraan open heeft gedraaid en dat de brand daarom zo snel verspreidde.
- De bevinding: De huidige verslagen (CWE) zeggen alleen waar de code fout is (bijv. "lekke waterleiding"). Ze vergeten te zeggen hoe de robot die fout heeft gebruikt om grotere schade aan te richten. Ze missen het verhaal van de interactie tussen de mens, de robot en de code.
Conclusie: Twee brillen nodig
De onderzoekers concluderen dat we twee verschillende brillen nodig hebben om veilig te zijn in deze nieuwe wereld:
- De code-bril (CWE): Kijkt naar de technische fouten in de bouwplannen (zoals een slechte deurpost).
- De architectuur-bril (OWASP): Kijkt naar hoe de robot en de mensen met elkaar praten en welke macht de robot heeft.
Als je alleen naar de code kijkt, mis je het gevaar van de robot. Als je alleen naar de robot kijkt, mis je de technische fouten. Je hebt beide nodig om de stad echt veilig te maken.
Kort samengevat: De robots die we in onze software stoppen, brengen geen volledig nieuwe monsters met zich mee. Ze gebruiken juist de oude, bekende deuren en ramen om binnen te komen. Maar omdat ze zo slim en machtig zijn, kunnen ze met die oude deuren veel meer schade aanrichten dan voorheen. En onze huidige veiligheidsrapporten vertellen ons niet genoeg over die extra schade.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.