Sintesi Tecnica: SafeRun

Definizione del Problema

I Large Language Models (LLM) hanno fatto avanzare il campo degli agenti autonomi e della pianificazione dei compiti, eppure la loro natura intrinsecamente probabilistica crea una barriera fondamentale per l'implementazione in domini critici per il determinismo. In scenari in cui la violazione delle regole di sicurezza può portare a gravi conseguenze fisiche, come la pianificazione della corsa, l'imprevedibilità degli LLM rende gli approcci puramente guidati dai modelli inaccettabilmente rischiosi. I metodi di pianificazione tradizionali, che si affidano esclusivamente al ragionamento degli LLM o li integrano con strumenti esterni non vincolati (ad esempio, generazione di codice arbitrario), non riescono a fornire l'affidabilità assoluta necessaria per garantire l'aderenza a rigorosi vincoli fisiologici e di sicurezza.

Metodologia: Framework SafeRun

Per affrontare questo problema, gli autori propongono SafeRun, un nuovo framework che consente una pianificazione basata su LLM deterministica attraverso un'architettura disaccoppiata. L'intuizione centrale è separare il processo di pianificazione in due fasi distinte:

1. Interpretazione Soft (Fase LLM): L'LLM funge da interfaccia in linguaggio naturale. Il suo ruolo è limitato alla comprensione dell'intento dell'utente e alla costruzione di una pipeline di chiamate a un solver deterministico predefinito. Fondamentalmente, l'LLM non è autorizzato a generare codice eseguibile arbitrario o a costruire direttamente il piano finale. Invece, interagisce tramite un set limitato di API di pianificazione.
2. Applicazione Hard (Fase Solver Deterministico): Un solver formale e deterministico esegue la pipeline generata dall'LLM. Questo solver è dotato di:
   • Vincoli Hard: Regole di sicurezza esplicitamente codificate derivate dall'esperienza nel dominio (ad esempio, la formula di Daniels per la corsa). Queste includono limiti sulle sessioni di intensità (massimo 2/settimana), proibizioni su giorni di intensità consecutivi, limiti superiori al chilometraggio settimanale, tetti al chilometraggio per sessione (50% del totale settimanale) e rapporti di chilometraggio di intensità (massimo 10% del totale settimanale).
   • Vincoli Soft: Obiettivi di ottimizzazione per migliorare la qualità del piano, come la diversità degli allenamenti, l'equilibrio tra corsa e riposo e l'uniformità della distanza.
   • API di Pianificazione Predefinite: Interfacce strutturate (ad esempio, set_day_type, set_day_distance_range) che consentono all'LLM di specificare i vincoli senza manipolare la logica di ottimizzazione sottostante.

Le due fasi operano in un ciclo dell'agente (agent loop): se il solver determina che la pipeline proposta dall'LLM viola i vincoli, viene fornito un feedback all'LLM per la ri-pianificazione finché non viene trovata una soluzione valida o non viene raggiunto un limite massimo di iterazioni.

Costruzione del Benchmark

Per validare SafeRun, gli autori hanno costruito un benchmark completo per la pianificazione della corsa:

• Curatela dei Dati: 10 esperti umani hanno curato 100 query di pianificazione della corsa di alta qualità, multi-settimanali, coprendo diversi obiettivi di allenamento e vincoli.
• Profili Utente: Sono stati creati 10 profili di corridori distinti, variando le condizioni fisiologiche (età, genere, BMI) e i livelli di allenamento (da principiante ad avanzato).
• Set di Valutazione: Combinando sistematicamente ogni query con 4 profili differenti, gli autori hanno generato 400 combinazioni profilo-query per testare sia la comprensione del linguaggio naturale che la pianificazione vincolata dalla sicurezza.

Risultati Sperimentali

Il framework è stato valutato su cinque LLM allo stato dell'arte (inclusi GPT-5, GPT-4.1, DeepSeek-V3.2 e Qwen3.5) e confrontato con due baseline: Prompt Engineering (PE) e CodeAct (un approccio integrato con strumenti che consente la generazione di codice generale).

• Punteggio di Sicurezza (Safety Score): SafeRun ha ottenuto un punteggio di sicurezza del 100% su tutti i modelli, superando significativamente la media di PE (79,1%) e la media di CodeAct (97,6%). Anche i modelli con una baseline di sicurezza inferiore (ad esempio, GPT-4.1-mini al 67,8% in PE) hanno raggiunto la piena conformità con SafeRun.
• Punteggio di Seguire le Istruzioni (Instruction-Following Score): SafeRun ha mantenuto prestazioni competitive (media 81,5%), superando PE (69,2%) e superando leggermente CodeAct (80,3%).
• Tasso di Successo (Success Rate): Tutti i metodi hanno ottenuto il 100% di successo nella generazione di piani validi, grazie al rigoroso filtraggio del dataset del benchmark per garantire l'esistenza di soluzioni fattibili.

I risultati indicano che il solver deterministico è il fattore chiave nella affidabilità di SafeRun, colmando efficacemente il divario tra la generazione probabilistica e la necessità di una sicurezza assoluta.

Contributi Chiave

1. Un Nuovo Framework: SafeRun introduce un'architettura disaccoppiata per la pianificazione deterministica tramite LLM, separando l'interpretazione soft dall'applicazione dei vincoli hard.
2. Un Benchmark Completo: Il documento fornisce un benchmark strutturato per la pianificazione della corsa sotto vincoli fisiologici e di sicurezza realistici, colmando una lacuna negli esistenti dataset di valutazione.
3. Validazione Empirica: Valutazioni estese dimostrano che SafeRun supera costantemente le forti baseline nella soddisfazione dei vincoli, mantenendo al contempo elevate capacità di seguire le istruzioni.

Significato e Limitazioni

Gli autori affermano che SafeRun offre un approccio generalizzabile per l'implementazione di LLM in contesti critici per la sicurezza, introducendo l'applicazione deterministica dei vincoli. Sebbene dimostrato sulla pianificazione della corsa, la metodologia è destinata ad essere applicabile ad altri domini che richiedono l'aderenza rigorosa alle regole.

Il documento riconosce specifiche limitazioni:

• Il benchmark include attualmente solo coppie query-profilo fattibili e non valuta la gestione da parte del sistema di richieste in fattibilità o contrastanti.
• Il solver deterministico si basa su regole e API progettate manualmente e specifiche del dominio, il che potrebbe limitare la generalizzazione immediata a domini di pianificazione al di fuori della corsa senza ulteriore ingegneria.

Il lavoro sottolinea che SafeRun è progettato come uno strumento di supporto decisionale e non dovrebbe sostituire la guida professionale, evidenziando la necessità di un deployment responsabile nelle applicazioni sensibili alla sicurezza.