Resumo Técnico: SafeRun

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) avançaram o campo dos agentes autônomos e do planejamento de tarefas, mas sua natureza probabilística inerente cria uma barreira fundamental para a implantação em domínios de criticidade determinística. Em cenários onde a violação de regras de segurança pode levar a consequências físicas graves, como o planejamento de corrida, a imprevisibilidade dos LLMs torna abordagens puramente baseadas em modelos inaceitavelmente arriscadas. Métodos de planejamento tradicionais, sejam eles baseados apenas em raciocínio de LLM ou aumentando-os com ferramentas externas não restritas (por exemplo, geração de código arbitrário), falham em fornecer a confiabilidade absoluta necessária para garantir a adesão a restrições fisiológicas e de segurança rigorosas.

Metodologia: Estrutura SafeRun

Para enfrentar isso, os autores propõem o SafeRun, uma nova estrutura que permite o planejamento baseado em LLM determinístico através de uma arquitetura desacoplada. O insight central é separar o processo de planejamento em duas fases distintas:

1. Interpretação Suave (Fase LLM): O LLM atua como uma interface de linguagem natural. Seu papel é restrito a compreender a intenção do usuário e construir um pipeline de chamadas para um solver determinístico predefinido. Crucialmente, o LLM não é permitido gerar código executável arbitrário ou construir diretamente o plano final. Em vez disso, ele interage por meio de um conjunto limitado de APIs de planejamento.
2. Aplicação Rígida (Fase do Solver Determinístico): Um solver formal e determinístico executa o pipeline gerado pelo LLM. Este solver é equipado com:
   • Restrições Rígidas: Regras de segurança explicitamente codificadas derivadas de expertise de domínio (ex: fórmula de corrida de Daniels). Estas incluem limites em sessões de intensidade (máx. 2/semana), proibições de dias de intensidade consecutivos, limites superiores de quilometragem semanal, limites de quilometragem por sessão (50% do total semanal) e proporções de quilometragem de intensidade (máx. 10% do total semanal).
   • Restrições Suaves: Objetivos de otimização para melhorar a qualidade do plano, como diversidade de treinos, equilíbrio entre corrida/descanso e uniformidade de distância.
   • APIs de Planejamento Predefinidas: Interfaces estruturadas (ex: set_day_type, set_day_distance_range) que permitem ao LLM especificar restrições sem manipular a lógica de otimização subjacente.

As duas fases operam em um loop de agente: se o solver determinar que o pipeline proposto pelo LLM viola as restrições, um feedback é retornado ao LLM para o replanejamento até que uma solução válida seja encontrada ou um limite máximo de iterações seja atingido.

Construção do Benchmark

Para validar o SafeRun, os autores construíram um benchmark abrangente para o planejamento de corrida:

• Curadoria de Dados: 10 especialistas em humanos curaram 100 consultas de planejamento de corrida de alta qualidade e múltiplas semanas, cobrindo diversos objetivos de treinamento e restrições.
• Perfis de Usuário: Foram criados 10 perfis distintos de corredores, variando em condições fisiológicas (idade, gênero, IMC) e níveis de treinamento (iniciante ao avançado).
• Conjunto de Avaliação: Ao parear sistematicamente cada consulta com 4 perfis diferentes, os autores geraram 400 combinações de perfil–consulta para testar tanto a compreensão de linguagem natural quanto o planejamento com restrição de segurança.

Resultados Experimentais

A estrutura foi avaliada em cinco LLMs de última geração (incluindo GPT-5, GPT-4.1, DeepSeek-V3.2 e Qwen3.5) e comparada com dois baselines: Engenharia de Prompt (PE) e CodeAct (uma abordagem integrada a ferramentas que permite geração de código geral).

• Pontuação de Segurança: O SafeRun alcançou uma pontuação de segurança de 100% em todos os modelos, superando significativamente a média do PE (79,1%) e a média do CodeAct (97,6%). Mesmo modelos com baixo baseline de segurança (ex: GPT-4.1-mini com 67,8% em PE) atingiram conformidade total sob o SafeRun.
• Pontuação de Seguimento de Instruções: O SafeRun manteve um desempenho competitivo (média de 81,5%), superando o PE (69,2%) e excedendo ligeiramente o CodeAct (80,3%).
• Taxa de Sucesso: Todos os métodos atingiram 100% de sucesso na geração de planos válidos, atribuído à filtragem rigorosa do conjunto de dados do benchmark para garantir que soluções viáveis existissem.

Os resultados indicam que o solver determinístico é o fator chave para a confiabilidade do SafeRun, preenchendo efetivamente a lacuna entre a geração probabilística e a necessidade de segurança absoluta.

Principais Contribuições

1. Uma Nova Estrutura: O SafeRun introduz uma arquitetura desacoplada para planejamento de LLM determinístico, separando a interpretação suave da aplicação de restrições rígidas.
2. Um Benchmark Abrangente: O artigo fornece um benchmark estruturado para o planejamento de corrida sob restrições fisiológicas e de segurança realistas, abordando uma lacuna nos conjuntos de dados de avaliação existentes.
3. Validação Empírica: Avaliações extensas demonstram que o SafeRun supera consistentemente os fortes baselines em satisfação de restrições, mantendo altas capacidades de seguimento de instruções.

Significância e Limitações

Os autores afirmam que o SafeRun oferece uma abordagem generalizável para implantar LLMs em ambientes de segurança crítica ao introduzir a aplicação de restrições determinísticas. Embora demonstrado em planos de corrida, a metodologia pretende ser aplicável a outros domínios que exigem adesão estrita a regras.

O artigo reconhece limitações específicas:

• O benchmark atualmente inclui apenas pares consulta–perfil viáveis e não avalia o tratamento do sistema para solicitações inviáveis ou conflitantes.
• O solver determinístico depende de regras e APIs manuais projetadas para o domínio, o que pode limitar a generalização imediata para domínios de planejamento fora da corrida sem engenharia adicional.

O trabalho enfatiza que o SafeRun foi projetado como uma ferramenta de suporte à decisão e não deve substituir a orientação profissional, destacando a necessidade de implantação responsável em aplicações sensíveis à segurança.