Technische Samenvatting: Complexiteitshorizonten van Gecomprimeerde Modellen in Analoge Circuitanalyse

Probleemstelling

De implementatie van Large Language Models (LLM's) in gespecialiseerde engineeringdomeinen, zoals analoge circuitanalyse, staat voor een kritieke afweging tussen redeneernauwkeurigheid en rekenkundige efficiëntie. Huidige evaluatiemethodologieën vertrouwen op vlakke benchmarks (bijv. MMLU, HumanEval) die taken behandelen als onafhankelijke eenheden en prestaties aggregeren tot scalare metrieken. Deze aanpak faalt in het vastleggen van de hiërarchische en voorwaarde-gedreven aard van engineeringkennis, waarbij beheersing van fundamentele concepten (bijv. negatieve terugkoppeling) een strikte voorwaarde is voor het oplossen van complexe taken (bijv. optimalisatie van transient respons). Bijgevolg missen bestaande kaders een principieel mechanisme om de kleinste toereikende model voor een specifiek conceptueel vereiste te bepalen, wat leidt tot inefficiënte resource-allocatie in engineeringworkflows.

Methodologie

Het artikel stelt een Prerequisite Graph Framework voor dat de evaluatie verschuift van vlakke metrieken naar domeinspecifieke capability-mapping met behulp van gerichte acyclische grafieken (DAG's). De methodologie bestaat uit twee primaire componenten:

1. Agente Prerequisite Graph Generatie

Een tweefasige pijplijn maakt gebruik van LLM-agenten om gestructureerde datasets te construeren:

• Fase 1 (Conceptueel Ontwerp): Een agent genereert een boom van "conceptnodes" waarbij elke node een discrete taak vertegenwoordigt. Een schema dwingt conceptuele overerving af, zodat kindnodes de complexiteitstags van hun ouders cumuleren plus unieke nieuwe tags (bijv. $T_{child} = T_{parent} \cup \{T_{unique}\}$).
• Fase 2 (Tool-Calling MCQ-vertaling): Een tweede agent converteert deze nodes naar Meerkeuzevragen (MCQ's) met gestructureerde ground-truth tool-calls, waardoor een afhankelijkheidsbewuste dataset ontstaat.

2. Performance-bewuste Strategische Evaluatie Engine

Het kader maakt gebruik van een Depth-First Search (DFS) traversale engine om modelcascades over de gegenereerde grafiek te simuleren:

• Model Cascade: Een lijst met gecomprimeerde LLM-varianten ($M = [m_1, \dots, m_k]$) is gesorteerd op capability (bijv. van nano tot pro).
• Dynamische Traversale: De engine start met het kleinste model ($m_1$). Als een model een node faalt, traceert het cumulatieve padfouten ($PF_v$).
• Upgrade Trigger: Als $PF_v$ een gedefinieerde drempel overschrijdt, upgradeert het systeem naar het volgende grotere model ($m_{i+1}$) voor de huidige node en al zijn afstammelingen om consistentie te behouden.
• Pruning: Als het meest capabele model ($m_k$) een node faalt, worden die node en al zijn afstammelingen gemarkeerd als "overgeslagen", wat de logische onmogelijkheid weerspiegelt om geavanceerde taken op te lossen zonder de voorafgaande vereisten te beheersen.

3. Analytisch Kader

Het artikel introduceert een wiskundig kader voor het visualiseren van resultaten:

• Complexiteitshorizon: Het punt waar zelfs het grootste model faalt, wat het huidige bereik van het systeem definieert.
• Intelligentie Delta: Berekend via intersecties van tag-sets ($S_{Pass}(m_i) \cap S_{Fail}(m_j)$) om specifieke redeneercapaciteiten te kwantificeren die worden verkregen door modellen te upgraden.
• Monotone Capability-aanname: Het kader gaat ervan uit dat als een kleiner model een node oplost, elk groter model in de cascade ook zal slagen, wat retrospectieve capability-mapping mogelijk maakt.

Belangrijkste Bijdragen

1. Agente Prerequisite Graph Generatie: Een pijplijn die de creatie van logisch gestructureerde, afhankelijkheidsbewuste datasets voor engineeringdomeinen automatiseert.
2. Performance-bewuste Strategische Engine: Een DFS-gebaseerd evaluatiemechanisme dat queries dynamisch cascadeert over modelvarianten, de model-taakfit optimaliserend op basis van real-time prestatiegrenzen in plaats van statische routing.
3. Conceptuele Intelligentie Delta Analyse: Een visualisatie- en wiskundig kader (met behulp van radiale grafieken en Venn-diagrammen) dat een granulaire selectie van gecomprimeerde modellen mogelijk maakt op basis van specifieke conceptuele grenzen.

Experimentele Resultaten

Het kader werd gevalideerd met datasets voor analoge elektronica en een cascade van Gemma-familie modellen (gemma3:270m, gemma3:1b, gemma3:4b).

• Granulaire Foutmapping: Het systeem identificeerde succesvol dat het kleinste model (270m) fundamentele vragen faalde, wat een upgrade naar de 1b-variant triggerde. De 1b-variant hanteerde intermediaire concepten (bijv. Feedback Systemen, Ruisanalyse) maar slaagde er niet in het "Complexiteitshorizon" van het grootste model te bereiken.
• Afhankelijkheidsgedreven Pruning: Toen het grootste model (4b) vragen faalde over "Negatieve Feedback Systemen" en "Ruisreductietechnieken", pruneerde het systeem correct alle afhankelijke geavanceerde onderwerpen (bijv. Transient Respons Optimalisatie, Thermische Stabiliteitsanalyse). Dit demonstreerde het vermogen van het kader om de logische progressie van engineeringontwerp na te bootsen.
• Visualisatie: Radiale grafieklayouts visualiseerden effectief de "succesdiepte" van de cascade, terwijl intersecties van tag-sets de specifieke conceptuele domeinen benadrukten waar de modelcapaciteiten uiteenliepen.

Betekenis en Claims

Het artikel claimt dat deze aanpak een significante stap voorwaarts is naar robuste en professionele LLM-evaluatie in engineering. Door weg te bewegen van vlakke benchmarks, biedt het kader:

• Realistische Simulatie: Een nauwkeurigere simulatie van professionele agente-workflows waar taakafhankelijkheden expliciet zijn.
• Strategische Implementatie: Een methode om het kleinste capabele model te selecteren voor een gegeven conceptuele diepte, waarbij kostenefficiëntie wordt geoptimaliseerd zonder afbreuk te doen aan de redeneerintegriteit.
• Grenspunten Identificatie: Het vermogen om "Conceptuele Doodlopende Wegen" te pinpointen waar huidige LLM-architecturen moeite hebben om logische consistentie te behouden over interafhankelijke domeinen.

De auteurs positioneren dit werk niet als een universele oplossing voor alle AI-taken, maar als een gespecialiseerd hulpmiddel voor het begrijpen van de complexiteitshorizonten van gecomprimeerde modellen in hiërarchische engineeringdomeinen, en bieden een routekaart voor efficiënte modelselectie in de volgende generatie engineering-agent systemen.