Graphical Design of Interpretable Architectures
Dit artikel introduceert een grafische notatie, aangepast van de Penrose-tensornotatie, om de kloof te overbruggen tussen hoogwaardige architecturale visualisatie en laagwaardige tensor-manipulaties, wat het ontwerp, de globale analyse en de directe PyTorch-implementatie van interpreteerbare AI-architecturen zoals Steerling-8B mogelijk maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van kunstmatige intelligentie worden de krachtigste systemen van vandaag gebouwd uit enorme, hoogdimensionale datastructuren die wetenschappers tens noemen. Je kunt deze zien als meerlagige rasters van getallen die de informatie bevatten die een computer nodig heeft om de wereld te begrijpen. Om deze systemen te laten werken, moeten onderzoekers deze rasters voortdurend hervormen, combineren en transformeren. De uitdaging is dat de standaardmanier om deze transformaties te beschrijven — met complexe wiskundige symbolen en vergelijkingen — vaak moeilijk leesbaar is. Het is alsoals proberen een complexe machine te begrijpen door alleen naar een lijst met onderdelen te kijken zonder te zien hoe ze in elkaar passen. Dit maakt het moeilijk om nieuwe systemen te ontwerpen, verschillende benaderingen te vergelijken of, het belangrijkste nog, precies te begrijpen wat de machine doet. Dit gebrek aan helderheid is een grote hindernis in het veld van "interpreteerbare" AI, waar het doel is om modellen te bouwen die mensen daadwerkelijk kunnen begrijpen, in plaats van slechts zwarte dozen die antwoorden produceren.
Een onderzoeker bij IBM Research in Zürich heeft een nieuwe manier voorgesteld om deze systemen te visualiseren, een manier die de kloof overbrugt tussen abstracte wiskunde en concrete code. Zij introduceerden een grafische taal gebaseerd op een notatie die oorspronkelijk voor de natuurkunde is ontwikkeld, die wetenschappers in staat stelt om de interne werking van een AI-model te tekenen als een duidelijke, verbonden diagram. In dit systeem vertegenwoordigt elke vorm en lijn een specifieke operatie op de data. De belangrijkste innovatie is dat deze tekeningen niet slechts schetsen zijn; ze mappen direct en perfect op de werkelijke computercode die wordt gebruikt om deze modellen te bouwen. Dit betekent dat een onderzoeker een afbeelding kan tekenen van een nieuwe AI-architectuur, de globale structuur ervan in één oogopslag kan begrijpen, en die afbeelding vervolgens direct en zonder ambiguïteit kan vertalen naar werkende software.
De onderzoeker gebruikte dit nieuwe hulpmiddel om verschillende bestaande typen AI-modellen in kaart te brengen die vanaf het begin ontworpen zijn om begrijpelijk te zijn. Dit omvat systemen die specifieke menselijke concepten identificeren, netwerken die prototypen of voorbeelden gebruiken om beslissingen te nemen, en modellen die eenvoudige lineaire regels op complexe manieren combineren. Door deze modellen te tekenen, liet de onderzoeker zien hoe de nieuwe notatie de globale structuur van de architectuur blootlegt op een manier die vergelijkingen niet kunnen. Bijvoorbeeld, de diagrammen maken direct duidelijk hoe informatie van de input naar de output stroomt en hoe verschillende delen van het systeem met elkaar interageren. Deze visuele helderheid helpt onderzoekers om ontwerppatronen en potentiële gebreken op te sporen die verborgen zouden kunnen zijn in een muur van tekst of symbolen.
Om de kracht van deze aanpak op grote schaal te demonstreren, paste de onderzoeker hun methode toe op Steerling-8B, een van de grootste en meest geavanceerde interpreteerbare taalmodellen die beschikbaar zijn. Zij creëerden een volledig diagram van de architectuur van het model, waarbij de duizenden operaties werden afgebroken tot één samenhangende visuele stroom. Dit diagram zag er niet alleen mooi uit; het bood directe inzichten die moeilijk te zien waren in de oorspronkelijke technische documentatie. De tekening liet duidelijk zien dat het model een "residueel" systeem is, wat betekent dat informatie direct van het begin naar het einde kan stromen zonder door elke enkele tussenstap te worden gedwongen. Het bood ook een geometrische interpretatie van elke enkele operatie, waardoor een mens precies kan visualiseren hoe de data in de ruimte wordt getransformeerd.
Misschien wel het meest praktische resultaat van dit werk is de directe link tussen de tekening en de code. De onderzoeker toonde aan dat hun diagram voor het complexe Steerling-8B model direct vertaald kon worden naar slechts 33 regels code met behulp van een standaard programmeerinstrument. Deze één-op-één correspondentie betekent dat het diagram dient als een nauwkeurig blauwdruk. Het elimineert de giswerk en de potentiële fouten die vaak voorkomen wanneer men een complex ontwerp probeert te implementeren op basis van een beschrijving. Door een taal te bieden die zowel visueel intuïtief als mechanisch exact is, biedt dit werk een nieuwe standaard voor het ontwerpen en vergelijken van AI-systemen. Het suggereert dat de toekomst van het bouwen van transparante, begrijpelijke kunstmatige intelligentie minder afhankelijk kan zijn van het schrijven van complexere vergelijkingen en meer van het tekenen van duidelijkere plaatjes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.