Riepilogo Tecnico: CAX-Agent per l'Automazione Affidabile di APDL

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) distribuiti per la simulazione agli elementi finiti nell'ambito dell'Analisi e Progettazione Meccanica (MAPDL) affrontano sfide significative in termini di affidabilità. Sebbene gli LLM siano in grado di generare codice, spesso mancano del controllo strutturato dell'esecuzione, dell'incapsulamento degli strumenti e dei meccanismi di recupero dagli errori necessari per i flussi di lavoro ingegneristici. Nelle pipeline di simulazione, gli errori di runtime — come fallimenti nella generazione della mesh, problemi di convergenza o risultati mancanti — sono comuni anche per compiti strutturalmente semplici. In assenza di meccanismi di recupero espliciti, un singolo fallimento termina l'intera pipeline. I framework di agenti esistenti spesso si aspettano che l'LLM gestisca la propria esecuzione, il che non fornisce lo scheletro ingegneristico necessario per un'automazione robusta e ripetibile. Manca una prova empirica controllata che confronti diverse politiche di recupero (ad esempio, basate su regole rispetto a guidate dal modello) in condizioni ripetute con esiti validati da umani.

Metodologia

Architettura del Sistema: CAX-Agent

Il documento introduce CAX-Agent, un sistema di controllo (harness) per agenti leggero e nativo del dominio, progettato specificamente per l'automazione APDL piuttosto che per l'adattamento di un framework generico. L'architettura è organizzata in tre livelli:

1. Livello di Servizio LLM: Include un modello leggero locale (Qwen-27B) per una generazione rapida al primo passaggio e un'API esterna ad alta capacità (Claude Sonnet 4.6) per il ragionamento complesso e la riparazione.
2. Sistema di Controllo dell'Agente (Orchestratore): Questo middleware gestisce i cicli di vita degli strumenti, lo stato del flusso di lavoro e la diagnosi dei guasti. Crucialmente, è l'orchestratore — non l'LLM — a possedere i budget di riprova, l'invio degli strumenti e le condizioni di arresto. Implementa una Scala di Recupero che scala dal ripristino deterministico basato su regole alla rigenerazione guidata dal modello, all'arricchimento del contesto e, infine, all'intervento umano.
3. Backend del Solvitore: Un'interfaccia unificata che si connette ai motori MAPDL (PyMAPDL, CLI o modalità di fallback).

Progettazione Sperimentale

Lo studio valuta tre strategie di recupero distinte su un benchmark di 50 compiti strutturali standard (travi, lastre, cilindri sottoposti a carichi statici, modali e termici). I compiti sono deliberatamente semplici per isolare l'effetto della politica di recupero piuttosto che la difficoltà del compito.

• Nessun Recupero: Esecuzione one-shot senza tentativi di riparazione.
• Solo Regole: Correzione deterministica basata su log-to-patch utilizzando quattro regole di trasformazione delle stringhe (ad esempio, raddoppiare la dimensione degli elementi per fallimenti nella mesh, inserire la suddivisione temporale per problemi di convergenza) senza ragionamento aggiuntivo del modello.
• Solo Modello: Rigenerazione del modello condizionata al registro degli errori con riprove limitate (fino a 3 round di riprova forzati) in cui l'LLM legge il registro degli errori, diagnostica il fallimento e rigenera lo script.

Metriche di Valutazione

Ognuno dei 450 casi di esecuzione totali (50 compiti × 3 strategie × 3 ripetizioni) è stato valutato utilizzando:

• Punteggio del Compito ($t_i$): Un punteggio valutato da umani (0–4) per correttezza e completezza dell'immagine di output.
• Punteggio di Autonomia ($a_i$): Un punteggio derivato dal sistema (0–3) basato sulla necessità o meno di intervento manuale.
• Punteggio di Efficienza di Recupero ($e_i$): Basato sui conteggi delle riprove e sugli esiti del solvitore.
• Punteggio Totale ($q_i$): La somma delle suddette ($t_i + a_i + e_i$), che varia da 0 a 10.
• Tasso di Completamento: Metrica binaria che indica se è stata prodotta almeno un'immagine di post-elaborazione.
• Analisi Statistica: Confronti a coppie utilizzando $\delta$ di Cliff (dimensione dell'effetto) e test U di Mann–Whitney, con accordo inter-valutatore misurato dal $\kappa$ ponderato quadratico di Cohen (0,84).

Contributi Chiave

1. Architettura CAX-Agent: Un sistema di controllo per agenti nativo MAPDL a tre livelli, caratterizzato da una scala di recupero e un modello di controllo centrato sull'orchestratore che separa la riparazione semantica (LLM) dal controllo dell'esecuzione (Sistema di Controllo).
2. Valutazione Empirica Controllata: Un confronto rigoroso e ripetuto di tre strategie di recupero su 50 compiti APDL standardizzati, utilizzando una valutazione umana in cieco e la validazione inter-valutatore.
3. Prova Empirica: Dimostrazione che il recupero guidato dal modello supera sostanzialmente sia le riparazioni basate su regole sia le baseline senza recupero nei tassi di completamento, nella qualità dell'output e nell'autonomia.

Risultati

La strategia Solo Modello ha ottenuto prestazioni superiori in tutte le metriche rispetto a Solo Regole e Nessun Recupero:

• Tasso di Completamento: Solo Modello (0,9267) ha superato significativamente Solo Regole (0,7733) e Nessun Recupero (0,6933). Gli intervalli di confidenza al 95% per Solo Modello non si sovrapponevano alle baseline.
• Qualità del Compito: Solo Modello ha ottenuto un punteggio medio del compito di 3,59/4, rispetto a 3,17/4 per Solo Regole e 2,74/4 per Nessun Recupero.
• Punteggio Totale: Solo Modello ha ottenuto 9,16/10, significativamente più alto di Solo Regole (7,03/10) e Nessun Recupero (5,60/10).
• Tasso di Zero Intervento: Solo Modello ha raggiunto 0,84, mentre Solo Regole ha raggiunto 0,00. Il documento nota che lo zero di Solo Regole riflette la sua proprietà di progettazione che richiede un passaggio di conferma umana prima della riesecuzione, impedendo un'operazione completamente autonoma.
• Dimensioni dell'Effetto: Sono state osservate grandi dimensioni dell'effetto ($\delta$ di Cliff = 0,81–0,87) tra Solo Modello e le altre strategie, indicando un'alta probabilità che una singola esecuzione di Solo Modello selezionata a caso superi una esecuzione di Solo Regole.

Analisi dei Fallimenti: I fallimenti residui erano concentrati nelle impostazioni strutturali statiche, in particolare quelle che coinvolgevano caratteristiche geometriche a parete sottile o sensibili alla mesh. Le regole deterministiche sono state trovate insufficienti per i fallimenti a coda lunga del solvitore e del percorso dello script, mentre la riparazione guidata dal modello si è adattata a un'ampia gamma di firme di fallimento.

Significato e Affermazioni

Il documento afferma che CAX-Agent dimostra che un sistema di controllo leggero e nativo del dominio può trasformare la simulazione MAPDL da chiamate LLM disperse e inaffidabili in un flusso di lavoro ingegneristico standardizzato, tracciabile e ripetibile.

I risultati chiave includono:

• Necessità del Recupero: I meccanismi di recupero espliciti sono centrali per l'affidabilità del sistema; senza di essi, i singoli fallimenti terminano le pipeline.
• Superiorità della Riparazione Guidata dal Modello: Sebbene le regole deterministiche offrano un certo miglioramento rispetto alla mancanza di recupero, non migliorano in modo affidabile la qualità dell'output o raggiungono la piena autonomia. Il recupero guidato dal modello è la strategia predefinita più pratica per l'attuale implementazione CAX.
• Controllo Centrato sull'Orchestratore: Separare il ragionamento dell'LLM dal controllo dell'esecuzione del sistema di controllo (budget di riprova, condizioni di arresto) fornisce garanzie comportamentali che il prompting da solo non può eguagliare.
• Contributo Metodologico: Lo studio fornisce un modello riproducibile per la valutazione empirica dei sistemi di controllo (ablazione controllata, esecuzioni ripetute, punteggio multi-assiale) che può essere applicato ad altri componenti del sistema di controllo e backend di simulazione.

Gli autori mantengono modestia riguardo alla portata, notando che il benchmark utilizza geometrie semplici ed elasticità lineare. Affermano che è necessaria una convalida su benchmark più ampi e diversificati e su più backend di solvitore prima di un'implementazione pratica in contesti industriali complessi. Tuttavia, la scoperta fondamentale — che il recupero guidato dal modello supera gli approcci basati su regole e senza recupero in condizioni controllate — è presentata come robusta e statisticamente significativa.