SafeGen-LLM: Enhancing Safety Generalization in Task Planning for Robotic Systems

O artigo apresenta o SafeGen-LLM, um modelo de linguagem grande com pós-treinamento em duas etapas (SFT e GRPO) que melhora a segurança e a generalização em tarefas de planejamento robótico, superando modelos proprietários em diversos domínios e formatos de entrada.

O essencial

Imagine que você está tentando ensinar um robô a organizar uma sala de brinquedos (como empilhar blocos de montar). O objetivo é claro: colocar o bloco vermelho em cima do azul. Mas há uma regra de segurança crucial: nunca coloque um bloco pesado em cima de um frágil, senão tudo desmorona.

O problema é que os robôs tradicionais (os "cérebros" antigos) são muito rígidos. Se você mudar um pouco a sala ou adicionar uma nova regra, eles travam ou demoram horas para pensar. Já os robôs modernos, baseados em Inteligência Artificial (como o ChatGPT), são muito criativos e entendem linguagem humana, mas são como crianças inteligentes que não têm noção de perigo: eles podem criar um plano brilhante para organizar os blocos, mas sem querer, podem fazer o robô derrubar tudo ou bater em algo.

Aqui entra o SafeGen-LLM, a solução proposta por este artigo. Vamos explicar como funciona usando uma analogia de uma escola de pilotagem de drones.

1. O Problema: Pilotos Inexperientes vs. Pilotos Rígidos

• Os Planejadores Clássicos: São como pilotos que só voam em um simulador muito específico. Se você mudar o vento ou o mapa, eles param de funcionar. São lentos e não se adaptam.
• Os Modelos de IA (LLMs) Comuns: São como pilotos com muita teoria e imaginação, mas que nunca foram treinados para voar em condições reais. Eles podem escrever um plano de voo bonito, mas se esquecerem de desviar de um prédio (a regra de segurança), o drone cai.
• O Objetivo: Criar um piloto que seja tão criativo quanto a IA moderna, mas tão seguro quanto um instrutor de voo experiente, e que consiga voar em qualquer tipo de tempo ou terreno (generalização).

2. A Solução: O Treinamento em Duas Fases (SafeGen-LLM)

Os autores criaram um método de treinamento em duas etapas para transformar a IA em um "piloto de segurança":

Fase 1: A Aula Teórica (Ajuste Supervisionado - SFT)

Imagine que você pega um aluno de pilotagem e dá a ele um manual de instruções com milhares de exemplos de voos perfeitos e seguros.

• O que acontece: A IA lê esses exemplos. Ela aprende a linguagem dos robôs (como escrever o plano corretamente) e, mais importante, aprende a regra de ouro: "Não faça X se Y estiver acontecendo".
• Resultado: O robô para de escrever planos sem sentido (erros de formato) e começa a entender o básico de segurança. É como aprender a gramática e as leis de trânsito.

Fase 2: O Treino de Campo com um "Treinador Rigoroso" (GRPO)

Agora, o aluno vai para a pista, mas com um treinador especial. Esse treinador não dá apenas um "bom trabalho" ou "ruim". Ele usa um sistema de recompensas granulares (como um jogo de videogame com pontos detalhados).

• Como funciona o Treinador:
  • Se o robô tentar um voo que quebra a regra de segurança (ex: bater em um prédio), o treinador dá uma penalidade enorme (pontos negativos).
  • Se o robô tentar um voo seguro, mas não chegar ao destino, ele ganha pontos, mas menos do que quem chegou.
  • Se o robô fizer um voo perfeito e seguro, ganha a medalha de ouro.
• A Curva de Aprendizado: O treinador começa com missões fáceis (voar em linha reta) e, aos poucos, aumenta a dificuldade (tempestade, obstáculos complexos). Isso é chamado de aprendizado curricular.
• O Segredo: O treinador usa uma ferramenta matemática (verificação formal) para garantir que nenhum plano inseguro seja aprovado. A IA aprende na marra: "Se eu fizer isso, perdo pontos. Se fizer aquilo, ganho pontos".

3. O Resultado: O Super-Robô

Depois desse treinamento, o SafeGen-LLM se torna um especialista incrível:

1. Generalização de Segurança: Se você ensinar o robô a não derrubar blocos em uma sala de brinquedos, ele consegue aplicar essa lógica de "não derrubar coisas frágeis" em um novo cenário, como uma fábrica de carros ou um hospital, mesmo que nunca tenha visto esses lugares antes.
2. Adaptabilidade: Ele entende se você der as instruções em uma linguagem de computador (PDDL), em texto normal ("empurre a caixa para a esquerda") ou até em formato de lista (JSON). Ele é flexível.
3. Desempenho Real: Nos testes, esses robôs treinados foram melhores do que modelos gigantes de empresas famosas (como o GPT-5), mas usando computadores menores e mais baratos.

4. A Prova Final: O Robô de Verdade

Para não ficar só na teoria, eles colocaram o robô em ação:

• Simulação: Um robô clássico tentou empilhar blocos e causou uma colisão (desastre). O SafeGen-LLM reorganizou os movimentos e fez o mesmo trabalho sem bater em nada.
• Mundo Real: Eles colocaram o plano no braço robótico físico. O robô físico executou o movimento perfeitamente, evitando a colisão que o modelo antigo teria causado.

Resumo em uma Frase

O SafeGen-LLM é como um sistema de ensino que pega uma Inteligência Artificial criativa, mas ingênua, e a treina com exemplos perfeitos e um "chefe" rigoroso que pune qualquer erro de segurança, transformando-a em um planejador robótico que é ao mesmo tempo inteligente, criativo e, acima de tudo, seguro.

Resumo técnico

1. O Problema

O planejamento de tarefas em sistemas robóticos é fundamental para domínios críticos de segurança (como direção autônoma e automação industrial), onde decisões inseguras podem levar a consequências irreversíveis. O artigo identifica lacunas críticas nas abordagens existentes:

• Planejadores Clássicos (baseados em busca): Sofrem de baixa escalabilidade (o tempo de solução cresce exponencialmente com a complexidade) e dependem de engenharia de domínio manual e heurísticas rígidas.
• Métodos Baseados em Aprendizado por Reforço (RL): Têm dificuldade de generalização (geralmente aprendem apenas uma tarefa específica) e exigem custos elevados de interação com o ambiente e coleta de dados.
• Modelos de Linguagem Grandes (LLMs) Base: Embora capazes de raciocínio geral e de lidar com formatos de entrada flexíveis, os LLMs pré-treinados não garantem segurança. Eles frequentemente geram planos semanticamente incorretos, com violações de precondições ou que ignoram restrições de segurança, o que é inaceitável em cenários reais.

Questão Central: Como alinhar sistematicamente LLMs para gerar planos de tarefas seguros, garantindo não apenas a satisfação das restrições de segurança, mas também uma generalização robusta para novas propriedades de segurança em diversos domínios?

---

2. Metodologia: SafeGen-LLM

Os autores propõem o SafeGen-LLM, um framework de pós-treinamento em duas etapas projetado para injetar conhecimento de segurança verificável nos LLMs. O processo é composto por três pilares principais:

A. Construção de um Benchmark Multi-Domínio

• Foi criado um conjunto de dados unificado baseado na linguagem PDDL3 (Planning Domain Definition Language), que suporta restrições temporais e de segurança.
• Domínios Selecionados: Blocksworld, Ferry, Grippers e Spanner.
• Processo: Problemas foram gerados, enriquecidos com restrições de segurança explícitas (ex: evitar sobrecarga, evitar colisões, ordem segura de operações) e resolvidos por um planejador clássico (OPTIC) e validados por uma ferramenta formal (VAL). Apenas soluções validadas foram usadas.

B. Etapa I: Ajuste Fino Supervisionado (SFT)

• O LLM pré-treinado é ajustado supervisionadamente usando pares de instrução-resposta do dataset construído.
• Objetivo: Ensinar a sintaxe e semântica do planejamento (PDDL), garantindo que o modelo aprenda a gerar planos estruturalmente válidos e executáveis, além de internalizar o conhecimento de domínio e segurança básico.

C. Etapa II: Otimização de Política Relativa em Grupo (GRPO)

• Utiliza-se o algoritmo GRPO (uma variação leve de RL que não requer uma rede crítica separada) para alinhar o modelo com preferências de segurança.
• Máquinas de Recompensa Finas (Fine-grained Reward Machines): Em vez de uma recompensa binária, o sistema usa um verificador formal (VAL) para classificar os planos gerados em cinco categorias hierárquicas:
  1. Erro de Formato (pior).
  2. Violação de Restrição de Segurança.
  3. Violação de Precondição.
  4. Objetivo não satisfeito.
  5. Plano de Sucesso (melhor).
• Interpolação Baseada em Progresso: Para planos falhos, a recompensa é interpolada com base no progresso alcançado (ex: quantos passos foram executados antes da falha), fornecendo gradientes densos para o aprendizado.
• Aprendizado de Currículo (Curriculum Learning): O treinamento é dividido em fases (fácil, médio, difícil), aumentando progressivamente a complexidade dos problemas para estabilizar o treinamento e lidar com tarefas complexas.

---

3. Contribuições Principais

1. Benchmark Unificado de Segurança: Introdução de um dataset multi-domínio com restrições de segurança explícitas em PDDL3, permitindo avaliação sistemática de conformidade e generalização.
2. Framework de Pós-Treinamento Sistemático: Proposta de uma abordagem em duas etapas (SFT + GRPO) que combina aprendizado supervisionado de sintaxe com otimização de política baseada em verificação formal.
3. Generalização de Segurança Trans-Domínio: Demonstração de que o modelo treinado generaliza eficazmente para novos problemas dentro do mesmo domínio e para domínios totalmente novos, superando modelos proprietários de ponta (como GPT-5) em tarefas de planejamento com restrições de segurança, mesmo usando modelos de código aberto menores (7B-14B parâmetros).
4. Validação em Robótica Real: Integração bem-sucedida com frameworks de garantia (SafePilot) e validação física em um braço robótico, provando que os planos gerados evitam colisões reais.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como Mistral-7B, Llama-8B e Qwen3-14B.

• Escalabilidade vs. Planejadores Clássicos: Enquanto planejadores clássicos (OPTIC, Fast Downward) falharam em problemas complexos (taxas de sucesso de 14-45% e tempos de execução altos), o LLM (GPT-5.2 usado como baseline inicial) manteve 100% de sucesso com tempo estável. O SafeGen-LLM refinado superou as limitações de escalabilidade.
• Generalização de Segurança (Cross-Problem e Cross-Domain):
  • Redução de Erros: A taxa de violação de precondições caiu de ~98% (modelo pré-treinado) para ~8% (após GRPO). Violações de segurança caíram para 0-2%.
  • Taxa de Sucesso: Aumentou drasticamente, atingindo 88-100% de sucesso em planos seguros após o treinamento GRPO, superando significativamente o desempenho de modelos pré-treinados e modelos proprietários não ajustados.
• Robustez a Formatos de Entrada: O modelo treinado em PDDL3 demonstrou capacidade de generalização para entradas em Linguagem Natural e JSON, mantendo altas taxas de sucesso e baixos erros de formato, indicando que o conhecimento de planejamento foi aprendido semanticamente e não apenas sintaticamente.
• Validação Física: Em um braço robótico real, o planejador seguro evitou colisões físicas que ocorreriam com planos gerados por métodos não seguros, confirmando a transferência do conhecimento simbólico para o mundo real.

---

5. Significado e Impacto

O trabalho SafeGen-LLM representa um avanço significativo na aplicação de LLMs em sistemas robóticos críticos.

• Segurança por Design: Ao integrar verificação formal no loop de treinamento (via GRPO e recompensas), o modelo aprende a priorizar a segurança sobre a simples conclusão da tarefa.
• Eficiência e Acessibilidade: Demonstra que modelos de linguagem abertos e menores, quando adequadamente ajustados com dados de alta qualidade e verificação formal, podem superar modelos proprietários massivos em tarefas especializadas de segurança.
• Viabilidade de Implantação: A capacidade de generalizar para novos domínios e formatos de entrada, combinada com a validação em hardware real, sugere que essa abordagem é um passo viável para a implantação segura de agentes autônomos em ambientes dinâmicos e não estruturados.

Em resumo, o SafeGen-LLM preenche a lacuna entre a flexibilidade dos LLMs e os requisitos rigorosos de segurança da robótica, oferecendo um caminho escalável para planejamento de tarefas confiável.