Resumen Técnico: SafeRun

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) han avanzado el campo de los agentes autónomos y la planificación de tareas, pero su naturaleza probabilística inherente crea una barrera fundamental para el despliegue en dominios de criticidad determinista. En escenarios donde la violación de las reglas de seguridad puede derivar en consecuencias físicas severas, como la planificación de carrera (running), la imprevisibilidad de los LLMs hace que los enfoques puramente basados en modelos sean inaceptablemente riesgosos. Los métodos de planificación tradicionales, ya sea que dependan únicamente del razonamiento del LLM o que los aumenten con herramientas externas sin restricciones (por ejemplo, la generación de código arbitrario), no logran proporcionar la fiabilidad absoluta requerida para garantizar la adherencia a restricciones fisiológicas y de seguridad estrictas.

Metodología: Marco de Trabajo SafeRun

Para abordar esto, los autores proponen SafeRun, un novedoso marco de trabajo que permite la planificación determinista basada en LLM mediante una arquitectura desacoplada. La idea central es separar el proceso de planificación en dos fases distintas:

1. Interpretación Suave (Fase de LLM): El LLM actúa como una interfaz de lenguaje natural. Su función se restringe a comprender la intención del usuario y construir un flujo de llamadas a un solucionador determinista predefinido. Crucialmente, al LLM no se le permite generar código ejecutable arbitrario ni construir directamente el plan final. En su lugar, interactúa a través de un conjunto limitado de APIs de planificación.
2. Cumplimiento Estricto (Fase del Solucionador Determinista): Un solucionador formal y determinista ejecuta el flujo generado por el LLM. Este solucionador está equipado con:
   • Restricciones Duras: Reglas de seguridad codificadas explícitamente derivadas de la experiencia en el dominio (por ejemplo, la fórmula de Daniels para el running). Estas incluyen límites en sesiones de intensidad (máximo 2/semana), prohibiciones de días de intensidad consecutivos, límites superiores de kilometraje semanal, topes de kilometraje por sesión (50% del total semanal) y ratios de kilometraje de intensidad (máximo 10% del total semanal).
   • Restricciones Suaves: Objetivos de optimización para mejorar la calidad del plan, tales como la diversidad de entrenamientos, el equilibrio entre carrera/descanso y la uniformidad de la distancia.
   • APIs de Planificación Predefinidas: Interfaces estructuradas (por ejemplo, set_day_type, set_day_distance_range) que permiten al LLM especificar restricciones sin manipular la lógica de optimización subyacente.

Las dos fases operan en un bucle de agente: si el solucionador determina que el flujo propuesto por el LLM viola las restricciones, se devuelve retroalimentación al LLM para una replanificación hasta que se encuentre una solución válida o se alcance un límite máximo de iteraciones.

Construcción del Benchmark

Para validar SafeRun, los autores construyeron un benchmark exhaustivo para la planificación de carrera:

• Curación de Datos: 10 expertos humanos curaron 100 consultas de planificación de carrera de alta calidad y multisemana, cubriendo diversos objetivos de entrenamiento y restricciones.
• Perfiles de Usuario: Se crearon 10 perfiles de corredores distintos, variando en condiciones fisiológicas (edad, género, IMC) y niveles de entrenamiento (desde principiante hasta avanzado).
• Conjunto de Evaluación: Al emparejar sistemáticamente cada consulta con 4 perfiles diferentes, los autores generaron 400 combinaciones de perfil-consulta para probar tanto la comprensión del lenguaje natural como la planificación con restricciones de seguridad.

Resultados Experimentales

El marco fue evaluado a través de cinco LLMs de última generación (incluyendo GPT-5, GPT-4.1, DeepSeek-V3.2 y Qwen3.5) y comparado contra dos líneas base: Prompt Engineering (PE) y CodeAct (un enfoque integrado de herramientas que permite la generación de código general).

• Puntuación de Seguridad: SafeRun logró una puntuación de seguridad del 100% en todos los modelos, superando significativamente el promedio de PE (79.1%) y el promedio de CodeAct (97.6%). Incluso los modelos con menor seguridad base (por ejemplo, GPT-4.1-mini con 67.8% en PE) alcanzaron el cumplimiento total bajo SafeRun.
• Puntuación de Seguimiento de Instrucciones: SafeRun mantuvo un rendimiento competitivo (promedio de 81.5%), superando a PE (69.2%) y excediendo ligeramente a CodeAct (80.3%).
• Tasa de Éxito: Todos los métodos lograron un 100% de éxito en la generación de planes válidos, atribuido al filtrado riguroso del conjunto de datos del benchmark para asegurar la existencia de soluciones factibles.

Los resultados indican que el solucionador determinista es el factor clave en la fiabilidad de SafeRun, cerrando eficazmente la brecha entre la generación probabilística y la necesidad de seguridad absoluta.

Contribuciones Clave

1. Un Nuevo Marco de Trabajo: SafeRun introduce una arquitectura desacoplada para la planificación determinista de LLM, separando la interpretación suave del cumplimiento de restricciones duras.
2. Un Benchmark Exhaustivo: El artículo proporciona un benchmark estructurado para la planificación de carrera bajo condiciones fisiológicas y de seguridad realistas, abordando un vacío en los conjuntos de datos de evaluación existentes.
3. Validación Empírica: Evaluaciones extensas demuestran que SafeRun supera consistentemente a las líneas base fuertes en la satisfacción de restricciones, manteniendo altas capacidades de seguimiento de instrucciones.

Significado y Limitaciones

Los autores afirman que SafeRun ofrece un enfoque generalizable para el despliegue de LLMs en entornos de seguridad crítica mediante la introducción del cumplimiento determinista de restricciones. Aunque se demostró en planes de carrera, la metodología está destinada a ser aplicable a otros dominios que requieran la adherencia estricta a reglas.

El artículo reconoce limitaciones específicas:

• El benchmark actualmente solo incluye pares de consulta-perfil factibles y no evalúa el manejo del sistema ante solicitudes infactibles o conflictivas.
• El solucionador determinista depende de reglas y APIs diseñadas manualmente y específicas del dominio, lo que puede limitar la generalización inmediata a dominios de planificación ajenos al running sin una ingeniería adicional.

El trabajo enfatiza que SafeRun está diseñado como una herramienta de apoyo a la decisión y no debe reemplazar la orientación profesional, destacando la necesidad de un despliegue responsable en aplicaciones sensibles a la seguridad.