Sintesi Tecnica: Ricerca Automatica Agente per l'Autonomia Spaziale

Definizione del Problema

Lo sviluppo di politiche di guida, navigazione e controllo (GNC) apprese per i veicoli spaziali è intrinsecamente un processo di ricerca iterativo. Gli investigatori devono selezionare architetture, regolare gli iperparametri ed eseguire esperimenti per determinare se i miglioramenti delle prestazioni siano reali o semplici artefatti della variazione del seed casuale (rumore del seed). Questo processo è laborioso e incline all' "over-claiming", ovvero quando un singolo esito favorevole viene scambiato per un risultato robusto. Sebbene i Large Language Models (LLM) siano emersi come agenti di ricerca autonomi capaci, automatizzare questo ciclo introduce un nuovo rischio: un agente che sperimenta più velocemente può amplificare il rischio di scambiare il rumore per progresso se non viene imposta una disciplina statistica.

Il problema centrale affrontato è come automatizzare il ciclo di ricerca del controllo aerospaziale utilizzando un LLM, garantendo al contempo che ogni miglioramento riportato sia statisticamente significativo, riproducibile e verificabile rispetto al rumore del seed misurato specifico del problema.

Metodologia: Il Framework AutoResearch

Il documento introduce AutoResearch, un framework in cui un LLM agisce strettamente come agente di ricerca offline per sviluppare politiche di controllo, accoppiato a uno strato di credibilità che opera all'interno del ciclo per certificare i risultati. Il framework è progettato come una macchina a stati chiusa e leggibile dalle macchine.

1. Il Contratto di Famiglia (Family Contract)

Per garantire la riutilizzabilità su diversi problemi aerospaziali, il framework definisce un'astrazione di "famiglia" composta da quattro artefatti:

• Descrizione del Problema (program.md): Una specifica in linguaggio naturale di obiettivi, metriche, baseline e ambiti di modifica consentiti.
• Script di Training Modificabile (train.py): Contiene una regione delimitata di iperparametri (la "superficie modificabile") che l'agente può modificare. La dinamica sottostante, i solver e i protocolli di valutazione rimangono immutabili.
• Registro (family.json): Detiene la metrica target, la baseline di riferimento e la migliore configurazione attuale.
• Log Append-only (runs.jsonl): Registra ogni esperimento completato.

2. Il Ciclo dell'Agente (Agent Loop)

Il ciclo consiste in tre moduli:

• Proposer (Proponente): Un LLM (specificamente Anthropic's Claude Sonnet 4.5 negli esperimenti) che legge la descrizione del problema, la cronologia delle esecuzioni e gli iperparametri correnti. È costretto a produrre una chiamata a uno strumento strutturato: o propose_experiment (con un'ipotesi, override specifici degli iperparametri e un criterio di fallimento previsto) o stop_research. Il sistema opera in modalità cieca (blind mode), trattenendo la metrica target e i valori di baseline per prevenire la memorizzazione e forzare una ricerca iterativa genuina.
• Runner (Esecutore): Esegue la configurazione proposta patchando la regione modificabile di train.py, eseguendola come un subprocess isolato e analizzando una singola riga di metrica strutturata.
• Orchestrator (Orchestratore): Gestisce la macchina a stati, impone le condizioni di terminazione (es. limiti di budget, rilevamento del plateau) e assicura che configurazioni distinte non vengano rivalutate.

3. Lo Strato di Credibilità (Credibility Layer)

L'innovazione principale è uno strato di audit statistico che filtra ogni risultato riportato. Un risultato è accreditato solo se supera tre controlli:

1. Rumore del Seed Misurato: Prima di dichiarare qualsiasi miglioramento, il framework misura la deviazione standard ($\sigma$) della metrica attraverso $K$ seed di una configurazione baseline fissa. Questa $\sigma$ funge da unità di misura per tutte le dichiarazioni successive.
2. Verifica con Reseed (Reseeded Verification): La migliore configurazione dell'agente viene rieseguita su un set di nuovi seed indipendenti. Per essere accettato, il miglioramento medio deve superare la baseline di almeno $2\sigma$ (un gate di dimensione dell'effetto a lato singolo), e la politica deve soddisfare tutti i vincoli di sicurezza rigidi su ogni seed.
3. Pruning Leave-One-Out: Per identificare quali modifiche abbiano effettivamente contribuito al risultato, il framework ripristina individualmente ciascun parametro modificato. I parametri vengono classificati come "load-bearing" (il ripristino danneggia le prestazioni), "inert hitchhikers" (il ripristino non ha effetto) o "moved in the wrong direction" (il ripristino migliora le prestazioni). Questo processo distingue i contributi genuini dalle correlazioni accidentali.

Contributi Principali

Il documento presenta tre contributi primari:

1. Un Framework Riutilizzabile per la Sperimentazione Agente: Un "contratto di famiglia" che permette allo stesso ciclo di agente di essere applicato a problemi con fisiche drasticamente diverse (es. moto orbitale relativo rispetto all'evitamento di collisioni).
2. Uno Strato di Credibilità per l'Autonomia Affidabile: Un meccanismo di audit statistico che denomina i risultati in base al rumore del seed misurato, richiedendo la verifica con reseed e l'ablazione leave-one-out per separare i guadagni reali dalla fortuna del seed.
3. Risultati Auditi su Problemi di Controllo Aerospaziale: Dimostrazione del framework su due distinti problemi di guida spaziale, mostrando che la politica auditata supera il rumore del seed di molte deviazioni standard, mentre una ricerca casuale non guidata fallisce nel farlo.

Risultati Sperimentali

Il framework è stato testato su due problemi utilizzando il behavioral cloning per distillare i solver di controllo ottimo in politiche di feedback.

1. Rendezvous Relativo Clohessy–Wiltshire

• Task: Apprendere una politica per guidare un veicolo spaziale verso un bersaglio da varie condizioni iniziali.
• Esito: L'agente LLM ha ridotto la distanza terminale media da ~16m (baseline) a 0.094m (migliore singolo seed).
• Audit: Il reseed su 10 nuovi seed ha prodotto una media di 0.101m, un guadagno di 15.0$\sigma$ rispetto alla baseline.
• Confronto: Una ricerca casuale non guidata e coordinata si è stabilizzata a circa 0.635m.
• Pruning: Ha identificato cinque modifiche "load-bearing" (conteggio dimostrazioni, budget di training, learning rate, larghezza nascosta, profondità) e quattro modifiche inerti che contavano solo in combinazione.

2. Docking con Evitamento di Collisioni a Vincoli di Sicurezza

• Task: Docking oltre una zona di esclusione (una sfera in cui il veicolo spaziale non deve entrare) pur raggiungendo un bersaglio sul lato opposto.
• Esito: L'agente ha trovato una politica con un punteggio di docking consapevole della sicurezza di 0.33 (migliore singolo seed).
• Audit: Il reseed su 10 nuovi seed ha prodotto 0.38, un guadagno di 5.2$\sigma$. Fondamentalmente, il 100% dei reseed era strettamente fattibile (zero violazioni della zona di esclusione).
• Confronto: La ricerca casuale non guidata (24 tentativi) ha prodotto zero politiche fattibili. Il miglior punteggio casuale era 6.46, e la maggior parte delle esecuzioni si è allontanata dal bersaglio.
• Pruning: Ha identificato che il numero di dimostrazioni e il budget di training erano i fattori principali "load-bearing". Il filtro di sicurezza CBF (Control Barrier Function) a tempo di esecuzione è stato essenziale per la fattibilità.

Significato e Rivendicazioni

Il documento afferma che il contributo primario è il processo di ricerca autonoma e verificabile in sé, piuttosto che una nuova legge di guida. La significatività risiede in:

• Rigore Statistico nell'Automazione: Dimostrare che la ricerca guidata da LLM può essere resa onesta e riproducibile integrando la disciplina statistica (misurazione del rumore del seed, ri-test, ablazione) direttamente nel ciclo, invece di trattarla come un elemento secondario.
• Validazione per Sistemi Critici per la Sicurezza: Dimostrare che il framework può certificare politiche per problemi con vincoli di sicurezza dove la ricerca casuale non riesce affatto a trovare una soluzione fattibile.
• Separazione delle Responsabilità: L'LLM agisce esclusivamente come ricercatore offline; la politica addestrata è l'unico componente distribuito a bordo. Ciò garantisce che l'LLM non comandi mai direttamente il veicolo, mitigando i rischi associati alle allucinazioni dell'LLM nel controllo in tempo reale.

Gli autori rimangono modesti riguardo all'ambito, osservando che le campagne sono state limitate a decine di iterazioni (scambiando il throughput con la credibilità) e che il confronto con la ricerca casuale, sebbene indicativo, era secondario rispetto al gate del rumore del seed. Il lavoro stabilisce una base per lo sviluppo "veloce e onesto" dell'autonomia appresa per le future missioni spaziali.