Geometry-Aligned LLM Fine-Tuning for Sequential Narrow-Opening Planning

1. Problema Abordado

O artigo foca no problema de planejamento de movimento para corpos rígidos que precisam navegar através de múltiplas aberturas estreitas sequenciais em ambientes desordenados (ex.: passar por várias portas ou corredores apertados).

• Desafio Principal: Diferente do planejamento de uma única passagem, onde a viabilidade pode ser verificada localmente, navegar em múltiplas aberturas exige raciocínio geométrico de longo horizonte. A configuração (posição e orientação) escolhida para atravessar uma abertura inicial restringe o conjunto de configurações alcançáveis para as aberturas subsequentes.
• Limitações das Abordagens Atuais:
  • Planejadores Baseados em Modelo: Podem ser sensíveis a parâmetros de discretização e heurísticas, falhando em encontrar soluções globais em tempo hábil devido à complexidade geométrica.
  • Planejadores Baseados em Aprendizado: Geralmente geram waypoints mais rápidos, mas não garantem a continuidade do movimento livre de colisões entre os pontos. Frequentemente falham ao compor trajetórias, onde uma saída viável de uma abertura não permite a entrada na próxima.
  • LLMs Padrão: Não fornecem garantias geométricas diretas e tendem a cometer erros de formato ou viabilidade física.

2. Metodologia Proposta

Os autores propõem um framework de ajuste fino (fine-tuning) de Grandes Modelos de Linguagem (LLMs) alinhado à geometria. O objetivo é gerar sequências de waypoints fixas, legíveis por máquina e coordenadas entre as aberturas.

A abordagem utiliza um pipeline de treinamento em dois níveis (bi-level):

A. Coleta de Dados e Prompting

• São coletadas demonstrações humanas de navegação em ambientes sintéticos.
• O prompt inclui uma descrição simbólica do ambiente (limites, obstáculos, geometria do objeto) e instruções explícitas sobre o formato de saída e as restrições geométricas.

B. Nível 1: Ajuste Fino Supervisionado (SFT) Acionado por Falhas

• Base: Utiliza-se o modelo Llama-3.1-8B-Instruct com adaptadores LoRA (Low Rank Adaptation).
• Mecanismo: Além de imitar as demonstrações humanas, o modelo recebe feedback estruturado de falhas.
• Processo: Após cada época, o modelo gera waypoints que são "densificados" (convertidos em trajetória contínua) e verificados geometricamente. Se houver falha, o índice do primeiro waypoint falho e o tipo de violação (ex.: colisão, fora do espaço de trabalho, violação de tamanho de passo) são inseridos no prompt como feedback.
• Objetivo: Ensinar o modelo a evitar modos de falha comuns e garantir que a saída siga o formato estrito necessário para a verificação.

C. Nível 2: Otimização de Política Relativa em Grupo (GRPO) com Verificação Geométrica

• Mecanismo: Refina os mesmos adaptadores LoRA usando GRPO (Group Relative Policy Optimization).
• Recompensa Determinística: Diferente de métodos que usam recompensas aprendidas ou humanas, aqui a recompensa é calculada diretamente por um verificador geométrico determinístico.
  • A trajetória densificada é avaliada quanto a: limites do espaço (C1), colisão com obstáculos (C2), segurança de movimento contínuo (C3 - swept collision) e suavidade do passo (C4).
  • Uma função de recompensa normalizada é atribuída baseada na viabilidade da trajetória completa.
• Otimização: O GRPO compara um grupo de amostras geradas para o mesmo prompt, calculando vantagens relativas. Isso permite otimizar o modelo para a viabilidade da trajetória completa, e não apenas para a validade de waypoints isolados.

3. Principais Contribuições

1. Interface de Saída Estruturada: Alinhamento do LLM para gerar sequências de waypoints SE(2) fixas e legíveis por máquina, permitindo coordenação de longo horizonte (seleção de poses de saída que facilitam a entrada na próxima abertura).
2. Loop de Treinamento Acionado por Falhas: Introdução de um mecanismo de SFT que utiliza feedback estruturado de violações geométricas (índice e tipo de erro) para reduzir erros recorrentes, indo além da simples imitação.
3. Otimização via GRPO com Recompensa Geométrica: Uso de GRPO com uma recompensa derivada de verificação geométrica determinística. Isso alinha a geração do modelo com a correção da trajetória contínua, superando a limitação de validação apenas no nível de waypoints.

4. Resultados Experimentais

Os métodos foram avaliados em ambientes de distribuição (ID) e fora de distribuição (OOD), comparados com o modelo base (Llama-3.1), SFT com LoRA e SFT com feedback de falha.

• Taxa de Sucesso (ID): O método proposto (SFT + GRPO) atingiu 92,6% de sucesso, superando significativamente o SFT com LoRA (54,6%) e o SFT com feedback de falha (71,0%).
• Generalização (OOD): Em ambientes não vistos durante o treinamento, o método proposto manteve 77,3% de sucesso. Em contraste, o SFT com LoRA caiu drasticamente para 10,4%, demonstrando que o GRPO com recompensa geométrica é crucial para a generalização e raciocínio de longo horizonte.
• Redução de Erros: O método proposto reduziu quase a zero as violações de limites (C1) e tamanho de passo (C4), e reduziu significativamente colisões (C2) e colisões varridas (C3).
• Recompensa Geométrica: O modelo alcançou a maior pontuação média de recompensa geométrica (0,94), indicando trajetórias mais viáveis e contínuas.

5. Significado e Conclusão

O trabalho demonstra que é possível alinhar LLMs para tarefas de planejamento físico complexo, superando a lacuna entre a geração de texto e a viabilidade geométrica rigorosa.

• Raciocínio de Longo Horizonte: A análise qualitativa mostra que o modelo aprende a selecionar poses de saída em uma abertura que já estão orientadas para a próxima, reduzindo a necessidade de reorientação em espaços estreitos e evitando colisões varridas.
• Decoupling de Percepção: Ao usar descrições geométricas textuais exatas em vez de entrada visual (VLM), o método isola o raciocínio de planejamento da incerteza de percepção.
• Futuro: O framework abre caminho para extensões em ambientes 3D (SE(3)) e aplicação em cenários do mundo real, provando que a combinação de SFT orientado a falhas e otimização por reforço com recompensas determinísticas é uma estratégia eficaz para robótica baseada em LLM.