🤖 AI

You Have Been LaTeXpOsEd: A Systematic Analysis of Information Leakage in Preprint Archives Using Large Language Models

Dit artikel presenteert "LaTeXpOsEd", een systematische grootschalige beveiligingsaudit van meer dan 100.000 arXiv-indieningen die wijdverbreide informatielekken in bronbestanden en commentaren, waaronder gevoelige inloggegevens, PII en vertrouwelijke communicatie, aan het licht brengt door gebruik te maken van een nieuw raamwerk dat patroonherkenning en grote taalmodellen integreert.

Oorspronkelijke auteurs: Richard A. Dubniczky, Bertalan Borsos, Tamas Bisztray, Norbert Tihanyi

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Richard A. Dubniczky, Bertalan Borsos, Tamas Bisztray, Norbert Tihanyi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een manuscript indient bij een prestigieuze bibliotheek (zoals arXiv) om je nieuwste wetenschappelijke ontdekking te delen. Je overhandigt het definitieve, gepolijste boek (de PDF) dat iedereen kan lezen. Maar omdat de bibliotheek wil verzekeren dat je werk eerlijk en reproduceerbaar is, vragen ze je ook om je hele werkplaats over te dragen: de ruwe concepten, de post-it notes aan de muren, de halfvoltooide schetsen en de notities die je in de marges krabbelde terwijl je hardop nadenkt.

Het artikel "You Have Been LaTeXpOsEd" is een enorme beveiligingsaudit van deze werkplaats. De onderzoekers ontdekten dat wetenschappers, hoewel ze zeer zorgvuldig zijn met wat ze in het definitieve boek stoppen, vaak vergeten hun werkplaats schoon te maken voordat ze het overdragen.

Hier is een eenvoudige uiteenzetting van wat ze ontdekten, met gebruikmaking van alledaagse analogieën:

1. Het "Digitale Zolder"-probleem

Wanneer wetenschappers hun papers uploaden, laden ze niet alleen de definitieve PDF in. Ze laden de LaTeX-bronbestanden in. Denk aan deze bronbestanden als een digitale zolder of garage.

De Fout: Auteurs laten vaak "post-it notes" (opmerkingen in de code) of "oude dozen" (ongebruikte bestanden) achter op deze zolder.
Het Risico: Deze notities kunnen dingen zeggen als: "Hé, het wachtwoord voor onze interne server is 'Password123'" of "We hadden een enorme ruzie met de reviewer, hier zijn de boze e-mails."
De Realiteit: Omdat de zolder publiek is, kan iedereen binnenlopen en deze notities lezen. De onderzoekers behandelden dit als een "passieve" audit – ze keken gewoon naar wat er al was, zoals een beveiligingsagent die door een open huis loopt, zonder te proberen in te breken of te testen of de sloten echt werkten.

2. De Detectivemiddelen: Regex versus de "Superlezer"

Om deze geheimen te vinden, gebruikten de onderzoekers twee soorten detectives:

De Patroonzoeker (Regex): Dit is als een robot die alleen zoekt naar specifieke vormen. Het kan gemakkelijk dingen vinden die eruitzien als een e-mailadres (naam@domein.com) of een IP-adres (192.168.1.1). Het is goed in het vinden van voor de hand liggende aanwijzingen, maar slecht in het begrijpen van context.
De "Superlezer" (Grote Taalmodellen - LLM's): Dit is als een zeer intelligente menselijke detective die een zin kan lezen en de betekenis begrijpt.
- Voorbeeld: Een patroonzoeker zou een zin kunnen missen die zegt: "Ik gebruik de sleutel 'SecretKey99' om in te loggen op het lab." omdat het niet lijkt op een standaard wachtwoordformaat.
- De LLM leest echter de hele zin, begrijpt dat "SecretKey99" een geheim is, en markeert het.

De onderzoekers testten 25 verschillende "Superlezers" (AI-modellen) om te zien welke de beste detective was. Ze ontdekten dat open-source modellen (zoals Qwen-2.5) bijna net zo goed waren als de dure, propriëtaire modellen, maar voor een fractie van de prijs.

3. Wat Vonden Ze op de Zolder?

Na het scannen van 100.000 papers (ongeveer 1,2 terabyte aan data, wat neerkomt op een enorme bibliotheek), vonden ze duizenden "lekken". Dit is wat er achtergelaten werd:

De "Open Deur"-sleutels: Honderden gevallen van echte wachtwoorden, API-sleutels en inloggegevens. Het is alsof iemand zijn huissleutel met een briefje aan de voordeur plakte met de tekst: "Dit opent de achterdeur."
De "Privéchat"-lekken: Links naar privé Google Drive- of Dropbox-mappen die waren ingesteld op "Iedereen met de link kan bewerken". Dit betekende dat vertrouwelijke peer reviews, interne discussies tussen co-auteurs en ongepubliceerde data zichtbaar waren voor de hele wereld.
De "Post-it"-discussies: Opmerkingen waar auteurs discussieerden over de kwaliteit van het onderzoek of zich beklaagden over reviewers. Deze waren bedoeld voor interne ogen alleen, maar werden gepubliceerd voor iedereen om te zien.
De "Verborgen Foto's": Afbeeldingen die in het paper werden geüpload, bevatten vaak EXIF-gegevens (digitale metadata). Dit is als een foto van een gebouw die stiekem de GPS-coördinaten van het huis van de fotograaf en het exacte tijdstip waarop de foto is gemaakt, bevat.

4. De Kosten van het Onderzoek

Een van de meest verrassende bevindingen was hoe goedkoop dit was om te doen.

De onderzoekers besteedden in totaal ongeveer $90 om 100.000 papers te scannen.
Dit omvatte de kosten voor het downloaden van de data en het betalen aan de AI om de opmerkingen te lezen.
De Analogie: Het is alsof je een beveiligingsteam huurt om 100.000 huizen te controleren voor een paar dollar. Dit betekent dat zelfs een "low-resource" slechte actor (iemand met een klein budget) dit gemakkelijk kan doen om geheimen te stelen of reputatieschade te veroorzaken.

5. Het "Schuldspel" (Wie is Verantwoordelijk?)

Het artikel wijst op een lastige juridische situatie.

De Regel van de Bibliotheek: Wanneer je bij arXiv indient, teken je een contract waarin staat: "Ik verleen de bibliotheek het recht om mijn werk voor altijd te verspreiden." De bibliotheek zegt ook: "Het is jouw taak om ervoor te zorgen dat je geen privé-informatie opneemt."
Het Probleem: Auteurs denken vaak: "Ik heb het geheim in de code-opmerkingen gezet; niemand leest de code, alleen de PDF." Ze beseffen niet dat de "code-opmerkingen" deel uitmaken van het permanente publieke archief.
Het Vonnis: De onderzoekers betogen dat hoewel auteurs technisch verantwoordelijk zijn voor het opruimen, het systeem gebroken is omdat het te makkelijk is om per ongeluk geheimen achter te laten, en de bibliotheek ze niet automatisch verwijdert.

6. De Oplossing: De Werkplaats Schoonmaken

Het artikel stelt twee hoofdoplossingen voor:

Voor Auteurs: Voordat je op "Indienen" klikt, voer een "opruim"-tool uit (zoals een digitale stofzuiger) die automatisch alle opmerkingen, ongebruikte bestanden en verborgen metadata verwijdert. Laat geen post-it notes achter op de zolder!
Voor de Bibliotheek (arXiv): Ze moeten een veiligheidsnet toevoegen. Voordat een paper live gaat, moet het systeem automatisch scannen op wachtwoorden en privé-links en de auteur waarschuwen: "Hé, je hebt een wachtwoord in je notities achtergelaten. Wil je dit echt publiceren?"

Samenvatting

Het artikel is een wake-up call. Het laat zien dat in de haast om wetenschap snel te delen, onderzoekers per ongeluk hun "digitale afval" (geheimen, wachtwoorden en privé-discussies) in de open lucht laten. Omdat moderne AI zo goed is in het lezen en begrijpen van deze rommelige notities, is het nu ongelooflijk makkelijk voor iedereen om ze te vinden. De onderzoekers dringen er bij de wetenschappelijke gemeenschap op aan om hun bronbestanden schoon te maken voordat ze publiceren, net zoals ze een fysiek lab zouden opruimen voordat ze de deuren voor het publiek openen.

Technische Samenvatting: Je bent LaTeXpOsEd

Probleemstelling

De snelle uitbreiding van wetenschappelijke preprint-repositories, met name arXiv, heeft het paradigma van kennisdeling verschoven. In tegenstelling tot traditionele tijdschriften die uitsluitend definitieve PDF's publiceren, verplicht arXiv de indiening van onderliggende bronbestanden (bijv. LaTeX-bron, build-artefacten en auxiliaire afbeeldingen) om transparantie en reproduceerbaarheid te waarborgen. Deze architecturale keuze creëert echter een aanzienlijke, vaak over het hoofd geziene beveiligingsvector: informatielek via niet-gezuiverde bronbestanden.

Auteurs embedden vaak gevoelige data in LaTeX-commentaren, niet-referentie auxiliaire bestanden of EXIF-metagegevens van afbeeldingen, onder de misvatting dat deze elementen vluchtig of onzichtbaar zijn voor het publiek. Het artikel betoogt dat auteurs door het akkoord gaan met de indieningsovereenkomst van arXiv een onherroepelijke licentie verlenen om deze bestanden te distribueren, en dat het privacybeleid van het platform de verantwoordelijkheid voor zuivering expliciet verschuift naar de indiener. Bijgevolg kunnen tegenstanders Persoonlijk Identificeerbare Informatie (PII), inloggegevens, API-sleutels en interne geschillen verzamelen met behulp van Open-Source Intelligence (OSINT)-technieken. Traditionele regex-gebaseerde patroonherkenning is ontoereikend voor het detecteren van contextafhankelijke geheimen (bijv. semantische lekken, auteursgeschillen of niet-standaard inloggegevensformaten) die verborgen zitten in deze complexe documentstructuren.

Methodologie: Het LaTeXpOsEd-kader

De auteurs presenteren LaTeXpOsEd, een vierfasige pijplijn ontworpen om preprint-bronbestanden systematisch te auditeren op lekken van gevoelige informatie. Het kader integreert patroonherkenning, logische filtering en Large Language Models (LLM's).

Fase 1: Scraping
- Data werd verkregen via de officiële Amazon S3 bulkdata-service van arXiv om naleving te waarborgen en misbruik van scraping te voorkomen.
- De studie analyseerde 100.000 indieningen (ongeveer 1,2 TB ongecomprimeerde data), waarbij 808 specifieke tar.gz-archieven werden opgehaald.
- De totale onderzoekskosten voor data-ophaal bedroegen ongeveer $37.
Fase 2: Parsing en Schoonmaken
- Archieven werden uitgepakt en de inhoud werd geëxtraheerd naar machine-leesbaar JSON.
- Filtering: De pijplijn sloot papers uit zonder bronarchieven (7,7%), die zonder LaTeX-bestanden (6,1%) en die zonder commentaren (4,6%).
- Schoonmaken: Een meerstaps-pijplijn verwijderde boilerplate, syntactische commando's en redundante fragmenten. De dataset werd gereduceerd van ongeveer 12 miljoen commentaren naar 6,6 miljoen commentaren (een reductie van 89% in het aantal tokens), wat de inferentiekosten voor LLM's aanzienlijk verlaagde.
- Auxiliaire Analyse: Niet-referentie bestanden (aanwezig in het bundel maar niet in de definitieve PDF) werden geïsoleerd, aangezien deze vaak gevoelige workflow-resten bevatten. EXIF-metagegevens werden uit afbeeldingen gehaald voordat deze werden verwijderd.
Fase 3: Datamining
- Patroonherkenning: Gebruik van reguliere expressies en tools zoals TruffleHog om gestructureerde data (IP's, URL's, e-mails, IBAN's) en 1.750 bekende geheimpatronen te detecteren.
- LLM-gebaseerde Extractie: Om contextafhankelijke geheimen te detecteren (bijv. auteursgeschillen, peer-review-commentaren, niet-standaard inloggegevens), introduceerden de auteurs LLMSec-DB, een benchmark van 300 synthetische commentaarfragmenten.
- Benchmarking: 25 state-of-the-art LLM's werden geëvalueerd op LLMSec-DB met Exact-Match Accuracy (EMA) en At-Least-One Accuracy (ONE).
- Modelselectie: Qwen-2.5 72B werd geselecteerd voor grootschalige verwerking vanwege zijn hoge nauwkeurigheid (80,0% EMA) en aanzienlijk lagere kosten ($0,07 per miljoen tokens) in vergelijking met propriëtaire modellen zoals GPT-5 ($1,25 per miljoen tokens).
Fase 4: Analyse en Validatie
- Geautomatiseerde naschakeling filterde vals-positieven.
- Mens-in-de-lus: Kritieke bevindingen (inloggegevens, PII) ondergingen handmatige validatie.
- Ethische Beperkingen: De studie hield zich aan een strikt kader van "passieve verificatie". Geen enkele gelekte inloggegevens werd getest tegen live systemen, en geen enkele privé-inhoud werd geraadpleegd of gedeeld. Bevindingen werden geanonimiseerd, en betrokken auteurs werden op de hoogte gebracht waar contact mogelijk was.

Belangrijkste Bijdragen

Het LaTeXpOsEd-kader: Een nieuwe methodologie die entiteitsextractie, patroonherkenning en contextueel begrip van LLM's combineert om LaTeX-bronbestanden systematisch te verwerken en geheimen bloot te leggen die door geautomatiseerde audits worden gemist.
Grootschalige Preprint-analyse: De eerste uitgebreide beveiligingsaudit van preprint-bronbestanden, waarbij 100.000 indieningen (1,2 TB) werden onderzocht om systemische lekkage te kwantificeren.
LLMSec-DB Benchmark: Een nieuwe benchmark voor het evalueren van LLM's op geheimdetectie in wetenschappelijke documenten, die vergelijkende analyse van kosten, nauwkeurigheid en beschikbaarheid van open source faciliteert.
Empirisch Bewijs van Lekken: De ontdekking van duizenden PII-blootstellingen, honderden lekken van inloggegevens, privé-cloudlinks en semantische lekken (interne geschillen, vertrouwelijke peer reviews).

Resultaten

De analyse van 100.000 indieningen onthulde dat 9,9% van de papers (9.926) ten minste één gevoelige openbaarmaking bevatte, wat resulteerde in 13.806 distincte detecties.

Soorten Gelekte Informatie

Inloggegevens (Kritiek): 47 gevallen van expliciete gebruikersnaam/wachtwoord-paren, 2 AWS-toegangssleutels en 5 JWT's.
PII (Hoog): 6.984 gevallen van PII-blootstelling (namen, e-mails, telefoonnummers), waaronder 26 sociale verzekeringsnummers en 92 gevalideerde IBAN's.
Peer Review en Conflicten (Middel): 3.386 gevallen van peer-review-geschillen en 3.283 auteursconflicten/interne meningsverschillen.
Niet-referentie Artefacten: Configuratiebestanden (JSON/YAML), database-artefacten en broncode met embedded tokens en debugsporen werden gevonden in niet-referentie bestanden.
Metagegevens: 631 afbeeldingen bevatten gevoelige EXIF-data, waaronder geolocatie-coördinaten en apparaatidentificatoren.
Toegangslinks: 650 links naar privé-cloudopslag (Google Drive, Dropbox, enz.) werden gevonden, waarvan twee derde toegankelijk was zonder verdere authenticatie.

Modelprestaties

Qwen-2.5 72B bereikte de beste balans tussen prestaties en kosten, met 80,0% Exact-Match Accuracy en 91,0% At-Least-One Accuracy.
GPT-5 behaalde de hoogste EMA (82,7%), maar tegen kosten die ongeveer 18 keer zo hoog waren als die van Qwen-2.5 72B voor het volledige corpus.
TruffleHog (patroon-gebaseerd) presteerde slecht op contextgevoelige data, waarbij slechts 4 echte inloggegevens werden gedetecteerd met een hoog percentage vals-positieven (EMA < 10%).

Economische Haalbaarheid

De studie toont aan dat grootschalige extractie van gevoelige informatie economisch haalbaar is voor tegenstanders met beperkte middelen. De totale kosten om 100.000 papers te analyseren met de Qwen-2.5 72B-pijplijn bedroegen ongeveer ** $90** ($ 37 voor S3-ophaal + $50,4 voor LLM-inferentie). Uitgebreid naar het volledige arXiv-corpus blijven de kosten in de lage duizenden dollars (~$3.300), wat dit een schaalbare bedreiging maakt.

Betekenis en Beweringen

Het artikel beweert dat de grootschalige extractie van gevoelige informatie uit preprint-archieven een ernstige beveiligings- en reputatiebedreiging vormt voor individuen en instellingen.

Systemisch Risico: De lekkage is geen uitzondering, maar een systemisch probleem dat bijna 10% van de indieningen betreft.
Beperkingen van Huidige Praktijken: De afhankelijkheid van auteurs om bronbestanden handmatig te zuiveren is ontoereikend. Het artikel benadrukt een "structurele kloof" waarbij auteurs distributierechten verlenen zonder noodzakelijkerwijs te begrijpen dat commentaren en auxiliaire bestanden permanent publiek zijn.
LLM-effectiviteit: De studie bewijst dat LLM's uniek effectief zijn in het detecteren van contextafhankelijke geheimen die traditionele regex-gebaseerde tools missen, met name in ongestructureerde wetenschappelijke tekst.
Oproep tot Actie: De auteurs dringen er bij de onderzoeksgemeenschap en repository-exploitanten op aan onmiddellijke veiligheidsmaatregelen te implementeren, waaronder:
- Auteurszijde: Zuiveren van bronpakketten (verwijderen van commentaren, ongebruikte bestanden) en het vermijden van het opslaan van geheimen in projectbomen.
- Platformzijde: Het bieden van expliciete waarschuwingen bij het uploaden, het aanbieden van optionele zuiveringstools (bijv. het verwijderen van commentaren) en het scannen op gevoelige data voordat publicatie plaatsvindt.

De auteurs benadrukken dat hun werk een audit is van "passieve verificatie" die bedoeld is om risico's in de infrastructuur aan te kaarten, niet om specifieke individuen bloot te leggen. Alle tools, benchmarks en scripts zijn publiek vrijgegeven om open wetenschap en verantwoordelijke openbaarmaking te ondersteunen.