IROSA: Interactive Robot Skill Adaptation using Natural Language

O artigo apresenta o IROSA, um novo framework que utiliza modelos de linguagem pré-treinados para adaptar habilidades de robôs industriais por meio de comandos em linguagem natural, mantendo uma camada de abstração segura que evita o ajuste fino do modelo e a interação direta com o hardware.

O essencial

Imagine que você tem um robô industrial muito inteligente, mas que só sabe fazer uma coisa: pegar uma peça de uma caixa e colocá-la em outra. Ele foi "ensinado" por um humano a fazer isso, e agora ele repete o movimento perfeitamente.

O problema? E se você quiser que ele vá mais devagar perto de uma peça frágil? Ou que ele desvie de uma caixa azul que alguém deixou no caminho? Ou que ele pare para "olhar" uma câmera antes de terminar?

No passado, para mudar algo assim, você precisaria de um programador especialista para reescrever o código do robô. Isso é lento, caro e difícil.

Este artigo apresenta uma solução chamada IROSA. Pense no IROSA como um tradutor mágico e um guarda-costas entre você (que fala português) e o robô (que só entende matemática complexa).

Aqui está como funciona, usando analogias simples:

1. O Robô é um Artista, não um Programador

O robô já aprendeu a tarefa (como desenhar um círculo perfeito). Ele não precisa ser reprogramado do zero. Ele apenas precisa de um "empurrãozinho" para ajustar o desenho.

2. O "Caixa de Ferramentas" (A Ideia Central)

A grande inovação do IROSA é que ele não deixa o robô inventar nada. Em vez disso, o robô tem uma caixa de ferramentas pré-aprovada.
Imagine que você é um cliente em um restaurante. Você não entra na cozinha e diz ao chef: "Faça um prato com sal, pimenta e um pouco de fogo". Você diz: "Quero o prato mais apimentado possível". O chef (o robô) sabe exatamente quais ingredientes (ferramentas) ele pode usar porque eles já foram testados e são seguros.

No IROSA, as "ferramentas" são:

• Ajuste de Velocidade: "Vá mais devagar aqui."
• Inserção de Pontos: "Passe por cima deste ponto específico."
• Repulsão (Desvio): "Fuja daquela caixa azul."

3. O Tradutor (O Cérebro de IA)

Quando você fala: "Desvie da caixa azul e vá mais devagar", um modelo de linguagem (uma IA inteligente) atua como o garçom.

• Ele ouve seu pedido.
• Ele olha para a caixa de ferramentas do robô.
• Ele escolhe as ferramentas certas ("Ferramenta de Desvio" e "Ferramenta de Desaceleração").
• Ele define os parâmetros (quão longe desviar? quanto desacelerar?).

O Pulo do Gato: O garçom (IA) nunca entra na cozinha (o controle do robô). Ele apenas entrega o pedido escrito para o chef. Isso é crucial porque, se a IA alucinar (inventar algo errado), ela só pode escolher uma ferramenta que já existe e é segura. Ela não pode criar uma nova ferramenta perigosa.

4. Por que isso é diferente dos outros métodos?

Muitas IAs hoje tentam aprender a controlar o robô do zero, como um aluno tentando aprender a dirigir apenas assistindo a vídeos. Isso é arriscado: se o aluno errar, o carro bate.

O IROSA é como ter um piloto automático com limites rígidos.

• Outros métodos (como o OVITA): Tentam escrever o código do robô na hora. É como pedir para o garçom escrever a receita do prato na hora. Se ele errar a gramática ou a lógica, o prato fica estragado ou o robô quebra.
• O IROSA: Usa ferramentas prontas. É como pedir "mais sal". O robô sabe exatamente o que é "mais sal" e como aplicar sem estragar a comida.

5. O Resultado na Prática

Os pesquisadores testaram isso em um robô real fazendo uma tarefa industrial (colocar um anel de rolamento em um lugar).

• Cenário 1: O robô ia rápido. O humano disse: "Desacelere entre a caixa e a estação". O robô obedeceu perfeitamente, ficando mais lento apenas naquele trecho.
• Cenário 2: Apareceu uma câmera no caminho. O humano disse: "Verifique o anel com a câmera à esquerda". O robô ajustou a rota para passar perto da câmera e depois voltar ao normal.
• Cenário 3: Uma caixa azul bloqueou o caminho. O humano disse: "Evite a caixa azul". O robô desviou automaticamente, sem bater.

Resumo em uma frase

O IROSA permite que você fale com um robô industrial em linguagem natural, como se estivesse conversando com um colega de trabalho, mas com a segurança de que o robô só fará ajustes que já foram testados e aprovados, sem precisar de um programador para mudar o código a cada pequena alteração.

É a diferença entre tentar ensinar um robô a "pensar" do zero (perigoso e difícil) e dar a ele um conjunto de "botões mágicos" seguros que ele pode apertar quando você pede.

Resumo técnico

Resumo Técnico: IROSA – Adaptação Interativa de Habilidades Robóticas usando Linguagem Natural

1. Problema

A robótica industrial exige sistemas flexíveis que possam ser reconfigurados para tarefas e ambientes variados. No entanto, adaptar o comportamento de um robô geralmente requer reprogramação especializada ou interação física (como kinesthetic teaching), o que é limitado para alterações abstratas ou em larga escala.
Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para controle intuitivo via linguagem natural, sua aplicação direta em robótica industrial enfrenta desafios críticos:

• Segurança e Confiabilidade: Abordagens end-to-end (treinadas diretamente em dados sensorimotores) carecem de garantias de segurança e são difíceis de interpretar.
• Interpretabilidade: Modelos de caixa-preta dificultam a verificação do comportamento do robô, essencial em ambientes industriais.
• Dependência de Dados: Muitos métodos exigem grandes conjuntos de dados ou re-treinamento para cada nova instrução.
• Limitações de Implementação: Soluções baseadas em geração de código ou otimização em simulação podem introduzir erros de execução ou dependências de nuvem, inadequadas para ambientes industriais offline.

O objetivo do IROSA é permitir a adaptação de habilidades robóticas através de comandos de linguagem natural, mantendo a segurança, a transparência e a previsibilidade, sem necessidade de re-treinamento do modelo ou interação direta do LLM com o hardware do robô.

2. Metodologia

O IROSA propõe uma arquitetura baseada em ferramentas (tool-based) que atua como uma camada de abstração protetora entre o LLM e o controle do robô. O sistema não gera trajetórias diretamente; em vez disso, o LLM seleciona e parametriza funções pré-definidas e validadas que modificam uma representação probabilística da habilidade.

Componentes Principais:

• Representação da Habilidade (KMPs):
  O sistema utiliza Primitivas de Movimento Kernelizadas (KMPs). Os KMPs são uma abordagem de aprendizado por imitação não paramétrica que aprende uma distribuição de trajetória a partir de poucas demonstrações (2-5). Eles permitem a incorporação de novas restrições (pontos de via) de forma analítica e determinística.

• Arquitetura Baseada em Ferramentas:
  O LLM recebe uma "caixa de ferramentas" (toolbox) com descrições textuais de funções específicas. O processo segue um fluxo de cinco etapas:

  1. Consulta do Usuário: O usuário fornece um comando em linguagem natural (ex: "desacelere antes da caixa").
  2. Seleção de Ferramenta: O LLM analisa o comando e o estado do ambiente para selecionar a ferramenta apropriada da lista pré-definida, utilizando chamadas de função nativas (function calling).
  3. Parametrização: O LLM extrai os parâmetros necessários (ex: porcentagem de desaceleração, coordenadas de objetos) baseando-se na descrição da ferramenta e nas observações do ambiente.
  4. Execução e Validação: Antes de aplicar a mudança, o sistema valida os parâmetros (tipos de dados e limites de segurança). A ferramenta então modifica os parâmetros internos do KMP (médias, covariâncias ou pontos de via).
  5. Feedback: O robô executa a trajetória adaptada e o ciclo se repete se necessário.

• Mecanismos de Adaptação (Ferramentas Implementadas):

  • Modulação de Velocidade: Ajusta os intervalos de tempo entre pontos da trajetória em segmentos específicos (ex: "desacelere 50% entre a caixa e a estação").
  • Inserção de Pontos de Via (Via-Point): Adiciona restrições espaciais para desviar a trajetória (ex: "aproxime-se de cima" ou "verifique a câmera à esquerda").
  • Geração de Pontos de Repulsão: Cria campos de repulsão baseados em obstáculos (usando Campos de Distância Assinada - SDF) para evitar colisões, inserindo pontos de via que forçam o robô a contornar o obstáculo.

3. Contribuições Chave

1. Arquitetura de Abstração Segura: Um framework que separa estritamente a compreensão da linguagem do controle do robô, garantindo que o LLM apenas selecione funções validadas, mitigando riscos de alucinações ou comandos inseguros.
2. Adaptação Zero-Shot: O sistema adapta habilidades aprendidas a novas situações sem necessidade de fine-tuning do LLM ou re-treinamento do modelo de controle, utilizando apenas a semântica das instruções.
3. Extensões para KMPs: Novos métodos para modulação de velocidade e evasão de obstáculos via campos de repulsão, expandindo as capacidades de adaptação além das restrições tradicionais de pontos de via.
4. Validação Experimental Industrial: Demonstração em um robô de 7 graus de liberdade (DLR SARA) em uma tarefa real de inserção de anéis de rolamento, provando a eficácia em cenários industriais.

4. Resultados

O sistema foi avaliado em um robô real executando uma tarefa de manipulação industrial (transferência de um anel de rolamento de uma caixa para um dispositivo de medição). Foram testados três cenários:

• Adaptação de Velocidade: Comandos como "desacelere entre a caixa e a estação".
• Correção de Trajetória: Inserção de novos pontos de via para interagir com objetos não presentes na demonstração original (ex: "verifique com a câmera").
• Evitação de Obstáculos: Desvio de novos obstáculos introduzidos no ambiente (ex: "evite a caixa azul").

Métricas de Desempenho:

• Taxa de Sucesso do Comando (CSR), Interpretação (ISR) e Conclusão da Tarefa (TCR): O IROSA alcançou 100% em todas as métricas nos três cenários.
• Comparação com OVITA (Geração de Código): Ao comparar com o método OVITA (que gera código Python para modificar trajetórias), o IROSA superou significativamente o OVITA, especialmente quando ambos usavam o mesmo LLM local (Qwen2.5-VL-72B).
  • O OVITA local teve queda drástica na TCR (0-30%) e ISR (10-60%), falhando em interpretar a intenção do usuário corretamente ou gerando código que quebrava a tarefa.
  • O IROSA manteve consistência, demonstrando que interfaces estruturadas de ferramentas são mais robustas que a geração de código para adaptação de habilidades.
• Tempo de Resposta: O IROSA foi 43% mais rápido que o OVITA local, com tempo médio de adaptação de 15,4 segundos.

5. Significado e Impacto

O trabalho do IROSA é significativo por oferecer uma solução pronta para uso (deployable) e explicável para a indústria 4.0.

• Segurança Industrial: Ao restringir o LLM a uma caixa de ferramentas validada, o sistema garante que o comportamento do robô permaneça dentro de limites físicos e operacionais seguros, atendendo a requisitos de certificação industrial.
• Acessibilidade: Permite que operadores não especialistas ajustem o comportamento do robô em tempo real usando linguagem natural, sem conhecimento de programação ou cinemática.
• Independência de Nuvem: O framework foi projetado para operar com LLMs locais, eliminando a dependência de APIs em nuvem e garantindo privacidade e funcionalidade em ambientes industriais isolados.
• Transparência: Diferente de modelos end-to-end, cada passo da adaptação (ferramenta escolhida, parâmetros extraídos) é rastreável e interpretável pelo operador humano.

Em suma, o IROSA demonstra que a combinação de LLMs com representações probabilísticas clássicas de robótica (KMPs) através de uma arquitetura baseada em ferramentas é um caminho viável e superior para a adaptação segura e interativa de robôs em ambientes industriais complexos.