NoTB: Oracle-Free Triage of LLM-Generated RTL via Cross-Model Formal Consensus
Het artikel introduceert NoTB, een oracle-vrij framework dat sequentiële equivalentiecontrole over meerdere door LLM's gegenereerde RTL-ontwerpen benut om een formeel consensussignaal vast te stellen, wat een hoogprecisie triage van functionele correctheid mogelijk maakt zonder afhankelijk te zijn van testbenches of gouden referenties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van computerchipontwerp schrijven ingenieurs traditioneel code die beschrijft hoe elektriciteit door een circuit moet stromen. Deze code, bekend als register-transfer level of RTL, fungeert als een blauwdruk voor de fysieke hardware. Decennialang was het creëren van deze code een nauwgezet, door mensen gestuurd proces waarbij elke regel werd gecontroleerd tegen een betrouwbare referentie om te garanderen dat de chip correct zou functioneren. Onlangs is kunstmatige intelligentie begonnen met het schrijven van deze code voor ons. Large language models, dezelfde technologie die verhalen kan schrijven of vragen kan beantwoorden, worden nu gevraagd om deze complexe hardware-blauwdrukken te genereren op basis van eenvoudige tekstbeschrijvingen. Hoewel deze modellen veel versies van een ontwerp snel kunnen produceren, blijft er een kritiek probleem bestaan: hoe weten ingenieurs welke van deze door AI gegenereerde ontwerpen daadwerkelijk werken? In het verleden was het antwoord het vergelijken van de output van de AI met een perfecte, door mensen gemaakte referentie of het door een simulatie halen van een test. Het maken van deze perfecte referenties is echter duur en tijdrovend, en de tests zelf kunnen soms verborgen fouten missen.
Een team onderzoekers aan Columbia University heeft een nieuwe manier geïntrodujd om door deze door AI gegenereerde ontwerpen te sorteren zonder een perfecte referentie of een vooraf geschreven test nodig te hebben. Ze noemen hun systeem NoTB. In plaats van te vertrouwen op een enkele rechter om te beslissen of een ontwerp goed is, of het draaien van een simulatie die een kritieke fout zou kunnen missen, vraagt NoTB meerdere verschillende AI-modellen om hetzelfde ontwerp onafhankelijk van elkaar te schrijven. Vervolgens gebruikt het een rigoureus wiskundig hulpmiddel genaamd sequential equivalence checking om te zien of de verschillende versies zich onder elke mogelijke conditie exact hetzelfde gedragen. De kern van het idee is dat als verschillende AI-modellen, die op verschillende manieren zijn getraind, allemaal tot exact hetzelfde gedrag komen, het zeer waarschijnlijk is dat ze de juiste oplossing hebben gevonden. Deze aanpak stelt ingenieurs in staat om de meest betrouwbare ontwerpen vroegtijdig in het proces te identificeren, wat tijd en middelen bespaart voordat ze zich vastleggen op het bouwen van de eigenlijke chip.
De onderzoekers testten deze methode op achtenzeventig verschillende hardware-ontwerptaken. Ze gebruikten vier verschillende families van large language models om meerdere versies van elk ontwerp te genereren. Voor elke taak vergeleken ze de outputs om te zien welke wiskundig identiek waren. Ze ontdekten dat wanneer ontwerpen van alle vier de verschillende AI-families het eens waren over hetzelfde gedrag, het systeem bijna negentig vijf procent van de tijd correct was. Deze hoge mate van vertrouwen ging gepaard met een trade-off: het systeem deed slechts een voorspelling voor ongeveer zevenentwintig procent van de taken. Echter, door de vereiste te verlagen naar slechts drie overeenstemmende families, kon het systeem dertertig drie procent van de taken dekken terwijl het nog steeds een nauwkeurigheid van achtendertig zeven procent behield. Dit geeft ontwerpers een flexibel hulpmiddel: ze kunnen ervoor kiezen extreem voorzichtig te zijn en alleen de meest zekere ontwerpen te accepteren, of ze kunnen een iets hoger risico accepteren om meer ontwerpen toe te laten voor verdere testing.
De studie onthulde ook waarom oudere methoden voor het controleren van AI-ontwerpen onbetrouwbaar waren. Een veelgebruikte aanpak hield in dat een tweede AI-model werd gevraagd om als rechter op te treden en te voorspellen of een ontwerp correct was. De onderzoekers vonden dat deze methode inconsistent was; hetzelfde ontwerp kon door de ene rechter als correct en door de andere als incorrect worden gemarkeerd, afhankelijk van welk AI-model de beoordeling uitvoerde. Een andere methode hield in dat de ontwerpen door een test werden gehaald die door een AI was gemaakt. De onderzoekers ontdekten dat de kwaliteit van de resultaten volledig afhankelijk was van de kwaliteit van die test. Als de test zwak was, kon deze fouten missen, waardoor het systeem geloofde dat een gebrekkig ontwerp eigenlijk correct was. In tegen tegenstelling hiermee vertrouwt de nieuwe methode niet op een test of een rechter. Het vertrouwt op het feit dat de ontwerpen zelf bewezen identiek zijn over het gehele bereik van mogelijke inputs, waardoor de overeenkomst een eigenschap van het ontwerp is in plaats van een eigenschap van het instrument dat wordt gebruikt om het te controleren.
Om dit proces efficiënt te maken, gebruikt het systeem een slimme filtertechniek. In plaats van elke enkele combinatie van ontwerpen te vergelijken, wat lang zou duren, verwijdert het eerst exacte duplicaten en groepeert het vervolgens ontwerpen die al als gelijk bewezen zijn. Dit vermindert het aantal benodigde vergelijkingen aanzienlijk. Het hele proces, van het genereren van de ontwerpen tot het controleren ervan, duurt gemiddeld tussen de één en zestien minuten per taak, afhankelijk van hoeveel versies worden gegenereerd. De kosten voor het draaien van dit systeem zijn ook beheersbaar, omdat het de noodzaak vermijdt voor dure, herhaalde oproepen naar AI-modellen om enkel als rechter te fungeren. De onderzoekers benadrukken dat deze methode de noodzaak voor definitieve verificatie niet vervangt. In plaats daarvan fungeert het als een triage-systeem, een manier om de stapel AI-gegenereerde ontwerpen te sorteren zodat de meest veelbelovende naar voren kunnen komen met vertrouwen, terwijl de onzekere opzij worden gezet voor meer traditionele, grondige controle.
De bevindingen suggereren dat de diversiteit van de gebruikte AI-modellen de sleutel is tot het succes van het systeem. De onderzoekers testten wat er zou gebeuren als ze één van de vier AI-families uit de mix zouden verwijderen. Ze ontdekten dat het systeem robuust en accuraat bleef, zelfs wanneer één model ontbrak, wat bewijst dat het vertrouwenssignaal voortkomt uit de collectieve overeenstemming van de groep in plaats van te vertrouwen op een enkel model. Dit maakt de aanpak praktisch voor echt gebruik, waarbij de toegang tot specifieke AI-modellen kan variëren. De studie concludeert dat door de focus te verschuiven van gesimuleerde tests naar een formeel wiskundig bewijs van overeenstemming, ingenieurs een betrouwbaardere pijplijn kunnen bouwen voor het gebruik van kunstmatige intelligentie in hardware-ontwerp. Dit stelt de industrie in staat om de snelheid van AI-generatie te benutten terwijl de strikte veiligheidsnormen behouden blijven die vereist zijn voor de complexe chips die de moderne technologie aandrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.