Which Models Are Our Models Built On? Auditing Invisible Dependencies in Modern LLMs
Dit artikel introduceert ModSleuth, een agentisch systeem dat de complexe, gefragmenteerde afhankelijkheidsgrafieken van moderne LLM's uit publieke artefacten recursief reconstrueert en formaliseert, waardoor cruciale inzichten worden onthuld in licentieverplichtingen, de koppeling tussen training en evaluatie, en inconsistenties in documentatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een luxe, kant-en-klaar broodje koopt bij een chique delicatessenzaak. Op het menu staat: "Gemaakt met verse ingrediënten." Maar je hebt geen idee waar het brood vandaan komt, wie het heeft gebakken, of of de kaas is verwerkt door een machine die eerder werd gebruikt voor iets anders. In de wereld van Kunstmatige Intelligentie, specifiek Large Language Models (LLM's), is dit precies het probleem.
Moderne AI-modellen worden niet langer alleen vanaf nul opgebouwd met ruwe menselijke data. Ze zijn als culinaire meesterwerken die volledig zijn opgebouwd uit de recepten van andere chefs, voorgesneden groenten van andere chefs en sauzen gemaakt door andere robots.
Hier is de eenvoudige uiteenzetting van waar dit artikel over gaat:
Het Probleem: De "Onzichtbare Ingrediënten" Soep
In het verleden was het bouwen van een AI als het bakken van een cake: je verzamelde bloem, eieren en suiker (ruwe data) en bakte het. Tegenwoordig is het meer als het assembleren van een complexe maaltijd waarbij de bloem zelf door een robot is gemalen, de eieren door een andere robot zijn gesorteerd, en het recept is geschreven door een derde robot die leerde van een vierde.
De auteurs noemen dit een "recursieve afhankelijkheid."
- Het Probleem: Als Model A data gebruikt die is gegenereerd door Model B, en Model B is getraind op data die is gefilterd door Model C, dan wordt de keten ontzettend lang en rommelig.
- De Verwarring: Deze ketens zijn verborgen. Een paper kan zeggen: "we hebben een dataset gebruikt," maar vermeldt niet dat die dataset is gemaakt door een specifieke versie van een model van een ander bedrijf. Het is alsof een broodje op het menu "ham" vermeldt zonder te vertellen dat de ham afkomstig is van een boerderij die is geïnspecteerd door een specifieke, niet-vermelde instantie.
- Het Risico: Als het oorspronkelijke "ingrediënt" (Model C) een strikte regel had zoals "Gebruik mijn output niet om andere robots te trainen," dan kan die regel verloren gaan terwijl het ingrediënt via Model B naar Model A gaat. Dit creëert juridische nachtmerries, bevooroordeelde resultaten of "gecontamineerde" data die het eindproduct verpest.
De Oplossing: ModSleuth (De AI-detective)
De auteurs hebben een tool gebouwd genaamd ModSleuth. Denk aan een superkrachtige detective of een audit van de toeleveringsketen voor AI.
In plaats van alleen het uiteindelijke menu (de model card/paper) te lezen, gaat ModSleuth de keuken in, controleert de bonnetjes, leest de logboeken van de leveranciers en herleidt elk ingrediënt tot de bron.
Hoe het werkt (De gereedschapskist van de detective):
- Het leest niet alleen; het onderzoekt: Het gebruikt een AI-agent (een digitale detective) om technische rapporten, code en model cards te lezen.
- Het lost het "Naamspel" op: Soms wordt een model in een paper "Olmo 3" genoemd, maar "Olmo-3-Think" in de code. ModSleuth is slim genoeg om te beseffen dat dit hetzelfde is, alleen met een ander jasje aan.
- Het tekent een kaart: Het bouwt een enorme, visuele kaart (een dependency graph) die laat zien hoe Model A verbonden is met Model B, wat weer verbonden is met Model C, enzovoort.
Wat ze vonden (De Schokkende Waarheid)
De auteurs testten ModSleuth op vier belangrijke AI-modellen. Hier is wat de detective vond dat mensen over het hoofd zagen:
- Het "Verborgen Hand"-effect: Ze vonden afhankelijkheden die 8 stappen diep gingen. Bijvoorbeeld: de trainingsdata van één model werd gefilterd door een classifier, die getraind was op data gegenereerd door een model, dat weer getraind was op data van een compleet ander bedrijf.
- De "Dubbelagent" Benchmarks: Ze vonden gevallen waarbij een model werd getest op een specifieke reeks wiskundige problemen, maar diezelfde wiskundige problemen werden ook gebruikt om het model te trainen. Het is alsof een student een toets maakt waarvoor hij tijdens zijn studiedagen stiekem de antwoorden heeft gekregen.
- De Licentie-loophole: Ze ontdekten dat sommige modellen data gebruikten die is gegenereerd door modellen met strikte "No-Reuse" licenties. Omdat de keten zo lang was, realiseerden de makers van het uiteindelijke model zich niet dat ze de regels overtraden.
- De "Ghost" Afhankelijkheden: Soms zei de paper het één, maar zei de code iets anders. De paper claimde misschien "we gebruikten menselijke data," maar de code onthulde dat ze eigenlijk data gebruikten die door een robot was gegenereerd.
De Belangrijkste Conclusie
Het paper betoogt dat we niet langer alleen de "menu's" (model cards en papers) kunnen vertrouwen. Het ecosysteem van AI is te complex en onderling verbonden voor mensen om dit handmatig te traceren.
ModSleuth bewijst dat:
- AI is een enorm web: Bijna elk model is verbonden met vele andere op manieren die we niet kenden.
- Transparantie is kapot: De huidige documentatie is te plat en te simpel om deze diepe, meerlagige verbindingen vast te leggen.
- We een nieuwe standaard nodig hebben: Net zoals voedseletiketten nu allergenen en herkomst vermelden, hebben AI-modellen een "afhankelijkheidskaart" nodig die precies laat zien waar hun ingrediënten vandaan komen, helemaal terug tot de bron.
Kortom, het paper zegt: "We hebben een detective gebouwd om de verborgen ingrediënten in onze AI-broodjes te vinden, en we ontdekten dat de keuken veel rommeliger en onderling verbonden is dan iedereen besefte."
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.