AIVV: Neuro-Symbolic LLM Agent-Integrated Verification and Validation for Trustworthy Autonomous Systems

Il paper propone AIVV, un framework ibrido che integra modelli linguistici di grandi dimensioni (LLM) come ciclo deliberativo esterno per automatizzare la verifica e la validazione dei sistemi autonomi, superando i limiti della classificazione manuale delle anomalie e fornendo un approccio scalabile basato sulla validazione semantica dei requisiti.

L'essenziale

🌊 Il Problema: Il "Falso Allarme" del Sottomarino

Immagina di essere il capitano di un sottomarino robotico (un UUV) che esplora gli abissi. Il sottomarino è pieno di sensori che monitorano tutto: la temperatura, la pressione, la direzione.

Ora, immagina che questi sensori siano collegati a un sistema di allarme automatico basato su matematica pura. Questo sistema è bravissimo a vedere le cose strane: se un numero cambia troppo velocemente, suona l'allarme.

Il problema? Il sistema matematico è un po' "paranoico".

• Se il sottomarino fa una virata brusca (un movimento normale), il sistema pensa: "Oh no! Qualcosa si è rotto!" e suona l'allarme.
• Se c'è un po' di rumore nell'acqua, il sistema urla: "Pericolo!".

In passato, per ogni allarme, un essere umano esperto doveva guardare i dati, capire se era un vero guasto o solo un "falso allarme" (un disturbo), e decidere cosa fare. Con migliaia di sensori che lavorano 24 ore su 24, questo ha creato un lavoro impossibile per gli umani: erano sommersi di allarmi falsi e non potevano dormire.

🤖 La Soluzione: AIVV (Il "Consiglio dei Saggi" Robotico)

Gli autori di questo paper hanno creato un nuovo sistema chiamato AIVV. Immaginalo non come un singolo robot, ma come una squadra di esperti che lavora insieme, divisa in due livelli: un "Sentinella veloce" e un "Consiglio di saggi".

1. La Sentinella Matematica (Il Guardiano Veloce)

Questa è la prima linea di difesa. È un algoritmo matematico super veloce che controlla i dati in millisecondi.

• Cosa fa: Se vede qualcosa che esce dai limiti matematici, grida: "STOP! C'è un'anomalia!".
• Il limite: Non sa perché è successo. Potrebbe essere un guasto reale o solo un movimento normale. Se lasciamo fare solo a lei, ci allertiamo per nulla.

2. Il Consiglio degli Agenti (I Saggi LLM)

Quando la Sentinella grida "STOP", il problema viene passato a un Consiglio composto da tre esperti intelligenza artificiale (basati su modelli linguistici avanzati, come quelli che usano per scrivere testi). Questi esperti non guardano solo i numeri, ma capiscono il contesto, come farebbe un umano.

Immagina questo consiglio come una riunione di emergenza con tre ruoli specifici:

• L'Ingegnere dei Requisiti (Il Poliziotto): Guarda le regole scritte. "Il sottomarino sta rispettando le regole di sicurezza? O è solo un movimento autorizzato?"
• Il Gestore dei Guasti (Il Medico): Analizza la "salute" del sistema. "Se questo è un guasto, quanto è grave? Il sottomarino sta morendo o sta solo guizzando?"
• L'Ingegnere di Sistema (Il Meccanico): Capisce la fisica del sottomarino. "È un errore del sensore o il sottomarino sta reagendo a una corrente forte? Se è un problema, come lo aggiustiamo?"

Come decidono?
I tre esperti votano. Se almeno due su tre dicono "È un vero guasto", allora è un guasto. Se dicono "È solo un falso allarme", il sistema si calma e continua a lavorare.

🛠️ L'Innovazione Magica: "Imparare mentre si guida"

La parte più geniale di AIVV è cosa succede quando il Consiglio dice: "Ehi, non è un guasto, ma il nostro sistema di allarme è troppo sensibile per questo tipo di movimento".

Invece di ignorare il problema, il sistema:

1. Prende una copia temporanea del suo cervello matematico (come un provino).
2. Chiede a un quarto agente (l'Ispettore) di dire: "Dobbiamo ricalibrare la sensibilità o riaddestrare il modello?".
3. Un altro agente (il Tuner) applica queste modifiche alla copia.
4. Testa la copia: Se la copia funziona meglio e non dà più falsi allarmi, la copia diventa il nuovo "cervello" ufficiale. Se non funziona, si butta via e si torna alla versione precedente.

È come se un meccanico provasse una nuova regolazione del motore su un'auto di riserva, e solo se funziona perfettamente, la monta sulla tua auto mentre guidi, senza mai fermarti.

🎯 Perché è importante?

• Elimina la fatica umana: Non serve più un umano a controllare ogni allarme.
• Non si fida ciecamente: Non usa solo la matematica (che sbaglia) e non usa solo l'IA generativa (che può allucinare). Usa entrambe: la matematica per la velocità, l'IA per il buon senso.
• Si aggiorna da sola: Impara dai propri errori e si adatta a nuove situazioni (come acque più turbolente) senza bisogno di un ingegnere umano che intervenga manualmente.

In sintesi

Il paper descrive un sistema che trasforma la manutenzione dei robot sottomarini da un lavoro manuale e stressante ("Guarda questo allarme!") a un processo automatico e intelligente, dove un consiglio di esperti digitali decide cosa è vero e cosa è falso, e poi aggiusta il sistema in tempo reale per non sbagliare più la prossima volta. È come avere un equipaggio di robot che non solo sorveglia, ma impara e si ripara da solo.

Sommario tecnico

1. Il Problema: Limiti della Rilevazione Anomalie e Scalabilità V&V

Il paper affronta una sfida critica nei sistemi autonomi mission-critical, come i Veicoli Sottomarini Non Abitati (UUV): la gestione delle falsi positivi nella rilevazione di anomalie e la scalabilità dei processi di Verifica e Validazione (V&V).

• Limiti dei Modelli Matematici: I modelli di deep learning (es. LSTM, Transformer) sono eccellenti nel rilevare pattern anomali in dati rumorosi, ma spesso falliscono nel distinguere tra guasti reali (fault) e disturbi (nuisance faults) causati da rumore ambientale o transitori di controllo intenzionali. I sistemi puramente matematici tendono a generare allarmi falsi quando i confini di sicurezza vengono stretti per rilevare derive graduali.
• Collo di Bottiglia Umano: Attualmente, la validazione di questi allarmi richiede un approccio Human-in-the-Loop (HITL), dove esperti umani analizzano manualmente i dati. Questo processo introduce latenze inaccettabili (minuti o ore) e non è scalabile per monitorare migliaia di flussi di sensori simultaneamente.
• Rischio dell'uso diretto degli LLM: Sebbene i Large Language Models (LLM) offrano capacità di ragionamento semantico, il loro utilizzo diretto in sistemi critici è limitato dal rischio di allucinazioni e dalla mancanza di rigore matematico deterministico, che potrebbe portare a interruzioni di missione ingiustificate.

2. Metodologia: L'Architettura AIVV

Gli autori propongono AIVV (Agent-Integrated Verification and Validation), un framework ibrido neuro-simbolico a due livelli che combina la velocità del calcolo matematico con il ragionamento semantico degli agenti LLM.

L'architettura si articola in tre fasi sequenziali:

A. Livello Motore Matematico (The Sentry)

• Utilizza una rete LSTM con Dropout Monte Carlo (MC Dropout) per la previsione e la stima dell'incertezza epistemica.
• Integra la Previsione Conformale (Conformal Prediction) per stabilire un limite statistico garantito ($C_\alpha$) con un tasso di copertura definito.
• Funzione: Agisce come un "cancello deterministico". Se il residuo di un campione supera il limite conformale, il campione viene segnalato come anomalia e passato al livello successivo. Se non supera il limite, il sistema continua in modo efficiente senza coinvolgere gli LLM.

B. Il Consiglio degli Agenti (The Council) - Fase Deliberativa

Quando un'anomalia viene rilevata, viene escalata a un consiglio di agenti LLM specializzati che operano in modalità "voto a maggioranza" (2 su 3) per validare semanticamente l'allarme:

1. Requirements Engineer: Valuta se il comportamento del sistema viola i requisiti operativi descritti in linguaggio naturale (es. limiti di velocità, range di yaw).
2. Failure Manager: Analizza il sistema in modalità guasto, valutando la gravità della deviazione e la capacità di recupero (damping).
3. System Engineer: Combina le conoscenze di dominio (dinamica UUV, parametri PID) e matematiche per distinguere tra guasti reali e transitori. Se conferma un guasto, genera proposte di sintonizzazione dei guadagni (gain-tuning).

C. Pipeline di Adattamento (Inspector & Tuner)

Se il Consiglio determina che l'anomalia è un "falso positivo" (disturbo o manovra intenzionale) ma il limite matematico è stato violato:

• Inspector: Traduce il contesto in un'azione di adattamento (es. ricalibrazione del livello di significatività $\alpha$, o fine-tuning del modello).
• Tuner: Applica l'azione proposta su un motore clonato temporaneamente (non sul modello in produzione).
• Verifica: Il "Sentry" testa il modello clonato. Se risolve la violazione conformale, il modello viene promosso; altrimenti, viene scartato per evitare il "catastrophic forgetting" o il degrado.

3. Contributi Chiave

1. Automazione V&V basata su Ruoli: Introduzione di agenti LLM con ruoli specifici che automatizzano la diagnosi dei guasti attraverso la validazione collaborativa contro requisiti in linguaggio naturale e un sistema di voto a maggioranza.
2. Meccanismo di Gate Neuro-Simbolico: Un'architettura che accoppia l'LSTM con MC Dropout e la Previsione Conformale a un Consiglio LLM. Questo garantisce che solo le anomalie matematicamente verificate vengano sottoposte a validazione semantica, bilanciando efficienza e rigore.
3. Generazione di Artefatti Azionabili: Il framework non si limita a classificare, ma traduce i flag di anomalia in proposte ingegneristiche strutturate (es. parametri di sintonizzazione del controllore) e garantisce l'adattamento online sicuro tramite clonazione e verifica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un simulatore di UUV (REMUS 100) con tre scenari: Hovering, Mappatura a "Lawnmower" e Missione Complessa.

• Validazione dei Guasti (FVR - Fault Validation Rate):
  • Il framework ha raggiunto un FVR del 100% per la manovra di Hovering e oltre il 93% per le missioni complesse.
  • L'ablation study mostra che il solo motore matematico ha un alto tasso di falsi positivi (fino al 45% in alcuni casi), mentre l'aggiunta del Consiglio LLM riduce drasticamente questi errori.
• Adattamento e Accuratezza:
  • L'adattamento dinamico ha migliorato l'accuratezza complessiva del modello fino al 23.11% nello scenario più complesso (Dataset 3), dimostrando la necessità di un fine-tuning continuo per la V&V affidabile.
• Allineamento dei Modelli:
  • L'uso di modelli eterogenei (es. GPT-OSS-120B per la gestione dei guasti, LLaMA-17B per il controllo dei requisiti) è cruciale. Configurazioni non ottimali (es. assegnare compiti complessi a modelli piccoli) hanno fatto crollare le prestazioni (da 100% a ~44%).
• Efficienza:
  • Il sistema scala efficientemente: solo il 5% dei campioni (in scenari semplici) viene inviato al consiglio LLM, preservando le risorse computazionali.

5. Significato e Impatto

Il lavoro di AIVV rappresenta un passo fondamentale verso l'automazione della supervisione umana nei sistemi autonomi critici.

• Superamento del limite HITL: Dimostra che è possibile sostituire l'analisi manuale lenta con un processo digitale rapido e scalabile, mantenendo l'accuratezza semantica.
• Sicurezza e Affidabilità: L'approccio ibrido risolve il dilemma tra la rigidità dei modelli matematici e l'incertezza degli LLM, fornendo un "ponte" sicuro per l'adattamento online dei sistemi di controllo.
• Blueprint per il Futuro: Offre una struttura replicabile per l'uso di agenti LLM in domini di dati time-series, trasformando la V&V da un processo post-hoc statico a un ciclo di feedback dinamico e autonomo, essenziale per la prossima generazione di sistemi autonomi resilienti.