MultModLM: A multi-modal benchmark for Large-Language Model based hardware schematic generation
Questo articolo introduce MultModLM, un benchmark multimodale e un quadro di valutazione completo per valutare la capacità dei Large Language Models di generare schemi hardware a partire da descrizioni RTL, rivelando che, sebbene i modelli producano output visivamente interpretabili, essi faticano con la correttezza funzionale e che i valutatori basati su LLM sono inaffidabili nel giudicare la precisione strutturale nella progettazione hardware.