Sintesi Tecnica: Agente di Carico Cognitivo Visivo NeuraDock

Definizione del Problema

La crescente integrazione dei Large Language Models (LLM) nei software scientifici offre accessibilità ma introduce un errore categoriale critico in domini come l'elettroencefalografia (EEG). Sebbene gli LLM possiedano una vasta conoscenza della terminologia EEG e dell'elaborazione generale, essi mancano di una consapevolezza specifica riguardo ai vincoli fisici di un particolare dispositivo, agli algoritmi implementati dal software corrente, al significato preciso dei campi dei risultati computati e ai limiti scientifici di specifiche inferenze.

Nell'EEG a basso numero di canali, dove la copertura spaziale è scarsa e la qualità del segnale varia, questa mancanza di consapevolezza dei confini (boundary awareness) porta a interpretazioni plausibili ma non supportate. Un modello fluente potrebbe raccomandare un'asimmetria alfa frontale per un montaggio solo posteriore, descrivere un workflow che non esiste o tradurre un flag di qualità ingegneristica in una diagnosi neurologica. Inoltre, inserire la generazione di codice stocastico nel percorso di analisi numerica introduce responsabilità e variabilità, mentre l'invio di dati EEG grezzi a modelli esterni solleva preoccupazioni sulla privacy relative a dati neurali sensibili.

Metodologia

Gli autori propongono NeuraDock Agent, un'architettura open-source che separa rigorosamente un motore EEG locale deterministico da uno strato linguistico consapevole dell'hardware.

Architettura del Sistema

1. Core Deterministico Locale: Un motore Python versionato gestisce tutta la computazione numerica. Analizza le registrazioni, esegue il controllo qualità (QC), esegue i workflow spettrali revisionati ed esegue la scrittura di artefatti leggibili dalle macchine (risultati JSON, report Markdown, figure). I dati EEG grezzi e i densi array per campione rimangono locali e non vengono mai inviati all'LLM.
2. Payload di Interpretazione Autorizzato (Allowlisted): L'LLM riceve solo un riepilogo compatto e autorizzato dei risultati. Questo payload esclude esplicitamente i campioni grezzi, i vettori PSD completi e i percorsi di file locali. Include solo i campi necessari per spiegare la qualità, i parametri, i trend aggregati e i limiti dichiarati.
3. Strato di Contesto Versionato: L'LLM opera all'interno di un pacchetto di contesto vincolato contenente:
   • Profilo Hardware: Specifiche del sistema a elettrodi secchi a 7 canali (CP5, CP6, PO3, PO4, O1, Oz, O2 a 250 Hz) e soglie di QC ingegneristico.
   • Registro di Implementazione: Una lista chiusa di workflow revisionati (es. Qualità del Segnale, PSD, Carico Cognitivo Visivo, Confronto Rest/Task).
   • Schema dei Risultati: Definizioni dei campi di output e dei loro limiti scientifici.
   • Confini Scientifici: Dichiarazioni esplicite su ciò che non è giustificato inferire (es. nessuna pretesa causale, nessun indice assoluto di carico cognitivo).

Il Workflow del Carico Cognitivo Visivo

Come caso di studio, il sistema implementa un workflow di "Carico Cognitivo Visivo". Si tratta di un'euristica relativa, basata sulla registrazione, basata sulla soppressione alfa posteriore (8–13 Hz). Calcola un punteggio composito da potenza log-alfa standardizzata, frequenza di picco e asimmetria destra-meno-sinistra. Fondamentalmente, il sistema tratta questo valore come una classificazione relativa (basso/medio/alto) all'interno di una sessione, non come un indice diagnostico assoluto.

Contributi Chiave

1. Architettura Deterministica e Vincolata alla Privacy: Un design di sistema in cui l'LLM funge esclusivamente da strato di interpretazione e pianificazione vincolato, mentre il motore locale rimane la fonte della verità numerica.
   2.za Limiti del Workflow Documentati: Una definizione formale del workflow del Carico Cognitivo Visivo, che dichiara esplicitamente i suoi limiti di qualità e interpretativi (es. non è una diagnosi di attenzione o affaticamento).
2. Evidenza a Livello di Sistema: Validazione empirica della ripetibilità numerica, minimizzazione delle richieste (dimensione del payload), isolamento dei guasti (gli artefatti locali sopravvivono ai fallimenti dell'LLM) e risposte deterministiche a controllate perturbazioni del segnale.
3. Benchmark della Consapevolezza dei Confini: Un framework di valutazione innovativo che utilizza 36 casi attraverso quattro condizioni di contesto (Generico, Hardware, Hardware+Implementazione, Contesto Completo) e due LLM per misurare l'esatta ricezione dei confini fisici, di implementazione, dei risultati e scientifici.

Risultati

Ripetibilità e Sicurezza

• Determinismo: 12 registrazioni hanno prodotto risultati strutturati identici su dieci ripetizioni. Le esecuzioni end-to-end (risultati, report, figure) hanno prodotto hash identici attraverso tre ripetizioni.
• Minimizzazione dei Dati: Il payload della richiesta all'LLM era significativamente più piccolo della registrazione grezza (circa 23 KB rispetto a 8 MB), con conferma esplicita dell'assenza di EEG grezzi e array densi.
• Isolamento dei Guasti: Gli artefatti locali (risultati, report, tracce) sono stati preservati anche quando il servizio LLM falliva (errore HTTP 400, output malformato, rifiuto della connessione).

Benchmark della Consapevolezza dei Confini

Il benchmark ha valutato 288 output (36 casi × 4 contesti × 2 modelli).

• Accuratezza Decisionale: La classificazione esatta dei quattro tipi di confine (Supportato, Condizionale, Non Supportato, Non Implementato) è migliorata dal 58,3% (prompt Generico) al 79,2% (Contesto Completo).
• Risposte Sicure: Il tasso di risposte completamente corrette, complete di fatti e prive di affermazioni false è aumentato dal 26,4% al 66,7%.
• Calibrazione del Rifiuto: Il modello generico era eccessivamente conservativo, rifiutando il 27,8% delle richieste fattibili. Il contesto completo ha ridotto questo tasso di "sovra-rifiuto" all'8,3%, mantenendo al contempo un basso tasso di accettazione di elementi non supportati (1,4%).
• Ablazione del Contesto: L'aggiunta del contesto hardware ha fornito il maggior guadagno iniziale. Tuttavia, il "Contesto Completo" non è stato uniformemente ottimale; un subset "Hardware + Implementazione" ha talvolta raggiunto un tasso di risposta sicura leggermente superiore, suggerendo che l'espansione indiscriminata del contesto può introdurre rumore o sovra-rifiuto.

Limitazioni Osservate

• Rilevamento Flatline: L'attuale workflow QC non ha rilevato drop-out di tipo "flatline" di 15 secondi, un risultato negativo concreto.
• Tipi di Errore: Gli errori residui nella condizione di contesto completo sono stati principalmente dovuti alla difficoltà di preservare la semantica condizionale fine (es. distinguere tra "fisicamente plausibile ma non implementato" vs "non supportato") e all'omissione di fatti richiesti in scenari di orchestrazione complessi.
• Validazione Fisiologica: Il pilota esplorativo Rest/Task ha mostrato risultati misti (p-value non significativi), confermando che il sistema non stabilisce ancora un indice di carico cognitivo assoluto validato.

Significato e Rivendicazioni

Il documento posiziona NeuraDock Agent non come uno strumento diagnostico clinico o un sostituto dell'analisi EEG esperta, ma come un framework di sistema e di valutazione.

• Calibrazione invece del Rifiuto: Il contributo primario è dimostrare che la "consapevolezza dei confini" permette a un agente di calibrare quando accettare, qualificare o rifiutare una richiesta, piuttosto che limitarsi a rifiutare tutto per evitare allucinazioni.
• Meccanismo di Grounding: I risultati supportano il grounding consapevole dell'hardware e dell'implementazione come un meccanismo pratico per gli agenti EEG a basso numero di canali. Garantisce che il comportamento dell'LLM sia vincolato dal contratto fisico del dispositivo e dalle attuali capacità del software.
• Ambito Modesto: Gli autori dichiarano esplicitamente che il software non diagnostica la cognizione, non sostituisce l'analisi esperta e non stabilisce un indice di carico cognitivo clinicamente validato. Il sistema è destinato alla ricerca, all'ingegneria, all'educazione e alla prototipazione.
• Direzione Futura: Il lavoro motiva un passaggio dai prompt di contesto massivi e statici al recupero selettivo di moduli di contesto rilevanti (hardware, implementazione, limiti scientifici) per ottimizzare il processo decisionale senza sovraccaricare il modello.

In sintesi, l'articolo sostiene che affinché gli agenti scientifici siano affidabili, devono operare all'interno di confini espliciti, versionati e testabili, separando la natura stocastica della generazione del linguaggio dai requisiti deterministici della computazione scientifica.