MultModLM: A multi-modal benchmark for Large-Language Model based hardware schematic generation

Op basis van het verstrekte artikel volgt hier een gedetailleerde technische samenvatting van MultModLM.

Probleemstelling

Hoewel Large Language Models (LLM's) een toenemende adoptie zien in de hardwareontwikkeling voor taken zoals codegeneratie, debugging en tekstgebaseerde evaluatie, bestaat er een aanzienlijke kloof in multimodale hardwaretaken. Specifiek is er geen bestaande benchmark om het vermogen van LLM's te evalueren om hardware-schema's te genereren vanuit RTL (Register Transfer Level) beschrijvingen.

Deze kloof is kritiek omdat:

1. Niet-uniciteit van schema's: In tegenstelling tot code, waarbij vaak een specifieke output vereist is, kunnen meerdere structureel verschillende schema's functioneel equivalent zijn. Dit maakt het definiëren van een enkele "ground truth" onmogelijk.
2. Evaluatieuitdagingen: Visuele outputs kunnen niet op dezelfde manier direct gesimuleerd of formeel geverifieerd worden als code. Traditionele EDA-tools (bijv. Synopsys, Cadence) die vereist zijn voor schema-generatie zijn duur en vereisen veel domeinkennis, wat de toegankelijkheid voor onderzoekers beperkt.
3. Betrouwbaarheid van geautomatiseerde beoordelaars: Er is een gebrek aan begrip over de vraag of LLM's betrouwbaar de structurele en functionele correctheid kunnen evalueren in hardware-domeinen, een vereiste voor schaalbare geautomatiseerde evaluatie.

Methodologie

De auteurs introduceren MultModLM, een nieuwe benchmark en een meerfasig evaluatiekader ontworpen om deze uitdagingen aan te pakken.

1. Dataset Constructie

• Omvang: De dataset bestaat uit 99 diverse RTL-modules afkomstig uit open repositories (bijv. OpenRISC) en menselijke generatie.
• Samenstelling: De modules bestrijken rekenunits, finite state machines (FSM's), controlelogica en numerieke eigenschappencontroleurs (bijv. Armstrong-getal detectie, palindroomdetectie).
• Complexiteit: De ontwerpen variëren van kleine combinatorische circuits (1–20 regels) tot meerfasige sequentiële ontwerpen (tot 430+ regels).
• Ground Truth: Er worden geen ground-truth schema's verstrekt vanwege de niet-uniciteit van schema-representaties. Correctheid wordt beoordeeld via functionele equivalentie met de RTL-beschrijving aan de hand van een gestructureerde rubric.

2. Evaluatie Pipeline
Om de beperkingen van evaluatie met één methode te overwinnen, stellen de auteurs een vijffasige pipeline voor:

• Prompting: Modellen krijgen de instructie om een duidelijke, interpreteerbare PNG-afbeelding van het schema te genereren op basis van de RTL-code. Er worden strikte beperkingen opgelegd om te voorkomen dat modellen externe afbeeldingen ophalen of alleen tekstuele verklaringen geven.
• Zelfevaluatie: Het genererende model evalueert zijn eigen output tegen een vooraf gedefinieerde rubric om een baseline te vestigen voor zelfbeoordelingsbias.
• Gegronde Cross-evaluatie: Een secundair model evalueert het schema van het doelmodel met toegang tot de originele RTL-code. Dit benadert een objectieve beoordeling door de logische equivalentie te controleren.
• Blinde Cross-evaluatie: Het secundaire model evalueert het schema zonder toegang tot de RTL-code om visuele coherentie en zelfconsistentie te meten.
• Menselijke Evaluatie: Menselijke beoordelaars voeren gestructureerde verificatie uit met dezelfde rubric om een onafhankelijke beoordeling te bieden.

3. Evaluatiemetrieken

• Rubric-gebaseerde Scoring: Een in JSON gedefinieerde rubric met 8 criteria (bijv. Structurele Getrouwheid, Datapad Representatie, Kloknauwkeurigheid, Signaal Labeling) wordt gebruikt. Elk criterium wordt gescoord als een Booleaanse True/False om de subjectiviteit van gradatieschalen te vermijden.
• Statistische Analyse: Cohen's Kappa ($\kappa$) wordt berekend om de overeenstemming tussen menselijke beoordelaars en LLM-gebaseerde evaluatoren te meten.
• Nauwkeurigheid: Gemeten door het aantal vervulde rubric-criteria (maximaal 8 punten per prompt).

Belangrijkste Bijdragen

1. MultModLM Benchmark: De eerste multimodale benchmark specifiek voor het evalueren van RTL-naar-schema generatie met behulp van LLM's.
2. Gestructureerd Evaluatiekader: Een nieuwe pipeline die rubric-gebaseerde scoring, cross-model beoordeling en menselijke validatie combineert om de niet-uniciteit van schema-outputs te behandelen.
3. Empirisch Bewijs over LLM-as-a-Judge: Het werk levert data die de beperkingen aantoont van het gebruik van LLM's als evaluatoren in structureel precieze domeinen.

Experimentele Resultaten

De studie evalueerde state-of-the-art modellen (GPT 5.2 Go en Gemini 3 Flash Pro) op de 99-module dataset.

• Betrouwbaarheid van LLM-as-a-Judge: De belangrijkste bevinding is dat LLM-gebaseerde evaluatoren een bijna nul-overeenkomst vertonen met menselijke beoordelaars.
  • GPT vs. Mens Kappa: 0.013
  • Gemini vs. Mens Kappa: 0.000
  • Dit geeft aan dat LLM's momenteel onbetrouwbaar zijn als geautomatiseerde beoordelaars voor de correctheid van hardware-schema's, zelfs wanneer ze worden voorzien van gegronde RTL-code.
• Modelprestaties:
  • Gemini vertoonde een marginaal hogere nauwkeurigheid (0.314) dan GPT (0.297) wanneer beoordeeld door het secundaire model.
  • Gemini presteerde beter op semantische en functionele criteria (C1–C6), wat suggereert dat het de logische kern van de RTL beter behoudt.
  • GPT behaalde iets hogere scores op visueel georiënteerde criteria (C7–C8), hoewel de auteurs opmerken dat dit eerder kan wijzen op de netheid van de lay-out dan op strikte naleving van schema-conventies.
• Win/Loss Vergelijking: In paarvergelijkingen won Gemini 37 prompts, won GPT 33, en resulteerden 29 in een gelijkspel.

Betekenis en Claims

Het artikel beweert dat MultModLM een fundamentele bottleneck in het veld blootlegt: het onvermogen om multimodale hardware-outputs betrouwbaar te evalueren.

• Beperking van LLM-as-a-Judge: De bijna nul-overeenkomst tussen LLM's en mensen onthult dat huidige LLM's niet vertrouwd kunnen worden voor het evalueren van structurele en functionele correctheid in hardware-domeinen. Dit daagt de toepasbaarheid van "LLM-as-a-judge" paradigma's uit in velden die precieze structurele redenering vereisen.
• Noodzaak voor Nieuwe Methodologieën: De bevindingen motiveren de ontwikkeling van robuustere, domeinspecifieke evaluatiemethodologieën en tools voor structurele evaluatie (bijv. formele equivalentie-checkers) die als ground truth proxies op schaal kunnen dienen.
• Toekomstige Richting: Hoewel de huidige dataset bedoeld is voor evaluatie in plaats van training, suggereren de auteurs dat toekomstig werk zich moet richten op het uitbreiden van de dataset voor fine-tuning en het ontwikkelen van geautomatiseerde tools om de kloof tussen visuele outputs en formele verificatie te overbruggen.

Het artikel concludeert dat hoewel LLM's visueel interpreteerbare schema's kunnen genereren, hun functionele correctheid beperkt blijft, en de betrouwbare evaluatie van deze outputs een openstaand probleem blijft.