🤖 machine learning

Runtime-Incremental Transformer for Reinforcement-Learning-Based Adaptive Control

Este artigo introduz um mecanismo de transformer incremental em tempo de execução que expande e poda dinamicamente as cabeças de atenção durante o aprendizado por reforço com base na capacidade representacional de contexto e na redundância das cabeças, eliminando, assim, falhas catastróficas no controle adaptativo de longo horizonte de manipuladores robóticos com memória de fricção não observável e removendo a necessidade de um dispendioso ajuste de hiperparâmetros offline.

Autores originais: Giansalvo Cirrincione, Adriano Fagiolini

Publicado 2026-09-15

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Giansalvo Cirrincione, Adriano Fagiolini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Robôs que se movem com precisão, como os braços usados em fábricas para montar carros ou manipular materiais delicados, dependem de matemática complexa para saber quanta força aplicar. Por décadas, engenheiros têm usado um método chamado controle de torque computado, que calcula o empurrão ou puxão exato necessário para mover uma junta até um ponto desejado. Isso funciona bem quando o movimento do robô é previsível, mas máquinas do mundo real enfrentam um problema oculto: o atrito. Enquanto algum atrito é simples e constante, outros tipos, como o comportamento de aderência-deslizamento conhecido como atrito de Stribeck, dependem de um estado interno oculto que muda ao longo do tempo. Como os sensores de um robô não conseguem ver esse estado oculto diretamente, o sistema perde sua capacidade de prever seu próprio comportamento futuro baseando-se apenas em sua posição atual. Para resolver isso, pesquisadores recorreram à inteligência artificial, especificamente a um tipo de aprendizado chamado aprendizado por reforço, onde um programa de computador aprende por tentativa e erro. No entanto, esses programas frequentemente usam um recurso arquitetural específico chamado mecanismo de atenção, que atua como um holofote, permitindo que a IA foque em diferentes partes de seu histórico recente. O número desses holofotes, ou "cabeças", é geralmente fixo antes do início do treinamento, escolhido através de um processo de busca longo e caro. Se o número escolhido for muito pequeno, o robô falha em aprender; se for muito grande, o sistema torna-se ineficiente.

Os pesquisadores por trás deste estudo propuseram-se a corrigir essa rigidez criando um sistema que pode mudar de ideia enquanto está aprendendo. Eles desenvolveram um novo controlador que não decide o número de cabeças de atenção antecipadamente. Em vez disso, ele observa seu próprio desempenho durante o processo de treinamento e adiciona novas cabeças quando se sente sobrecarregado pela complexidade da tarefa, ou as remove quando percebe que algumas não estão fazendo nada. Isso acontece em tempo real, sem interromper o processo de aprendizado. O sistema utiliza dois sinais simples para tomar essas decisões. Primeiro, ele mede quanta informação nova está chegando do histórico do robô; se a informação for complexa demais para o número atual de cabeças para lidar, o sistema cria uma nova. Segundo, ele verifica o quanto cada cabeça está contribuindo para a decisão final; se uma cabeça está fazendo quase nenhum trabalho, o sistema a remove silenciosamente. Crucialmente, os pesquisadores projetaram o sistema de modo que adicionar ou remover uma cabeça não cause um salto súbito ou erro no comportamento do robô. Quando uma nova cabeça é adicionada, ela começa com influência zero, garantindo que o movimento do robô permaneça suave. Quando uma cabeça é removida, a mudança é tão pequena que não interrompe o aprendizado.

A equipe testou essa abordagem em um braço robótico simulado de duas juntas enfrentando diferentes níveis de memória de atrito, variando de atrasos de curto a longo prazo. Em experimentos anteriores usando números fixos de cabeças, o sistema falhava completamente nos cenários de memória mais longa e difíceis, muitas vezes fazendo com que o robô perdesse o controle ou ignorasse o peso que estava carregando. Com o novo sistema ajustável em tempo de execução, o robô teve sucesso em todos os testes, mesmo nos casos difíceis onde o método antigo falhou. Os pesquisadores descobriram que o sistema não descobriu um número "natural" específico de cabeças intrínseco à tarefa; em vez disso, ele saturou o limite máximo de cabeças em todas as execuções da campanha principal, e o gatilho de poda nunca foi acionado para remover cabeças não utilizadas. Interessantemente, o benefício não veio do tamanho final do sistema, mas da maneira como ele cresceu. O processo gradual de adicionar cabeças atuou como um currículo de treinamento, ajudando o robô a aprender passo a passo em vez de ser lançado em uma tarefa complexa de uma só vez. Isso sugere que a capacidade de adaptar a arquitetura durante o aprendizado é mais importante do que ter uma estrutura massiva e pré-construída. O resultado é uma maneira mais robusta e eficiente de ensinar robôs a lidar com o atrito desordenado e imprevisível do mundo real, eliminando a necessidade de buscas custosas de tentativa e erro para encontrar as configurações certas antes que o robô sequer se mova.

Resumo Técnico: Transformer de Incremento em Tempo de Execução para Controle Adaptativo Baseado em Aprendizado por Reforço

Definição do Problema
O artigo aborda o desafio do controle adaptativo baseado em aprendizado para manipuladores robóticos sujeitos à memória de fricção não observável, especificamente a fricção de Stribeck. Em tais sistemas, a força de fricção depende de um estado interno oculto com um "horizonte de memória" finito ( $\tau_z$ ), tornando o sistema de malha fechada não-markoviano em relação às medições de estado. O trabalho anterior dos autores (INCRT-1L) utilizou um codificador transformer de camada única com um número fixo de cabeças de atenção ( $K$ ) para processar uma janela deslizante de medições passadas. No entanto, essa abordagem dependia de um procedimento offline de duas fases (Fase-1/Fase-2) para selecionar $K$ via análise de operador substituto. Embora eficaz para horizontes de memória curtos e médios ( $\tau_z \in \{1, 2\}$ s), essa abordagem de capacidade fixa sofreu falhas catastróficas em 40% das sementes de treinamento para horizontes de memória longos ( $\tau_z = 5$ s). As falhas foram atribuídas a atratores locais no panorama de otimização do aprendizado por reforço (RL) que eram invisíveis à análise substituta offline.

Metodologia: Runtime-INCRT
O artigo introduz o Runtime-INCRT, um mecanismo que aumenta e poda dinamicamente as cabeças de atenção do codificador transformer durante o loop de treinamento do aprendizado por reforço, eliminando a necessidade de busca de arquitetura offline.

Arquitetura de Cabeças Variáveis: O meta-controlador emprega um bloco transformer com uma capacidade máxima de $K_{max}$ cabeças. Em qualquer passo de treinamento $t$ , uma máscara ativa determina o número atual de cabeças $K(t)$ .
Gatilhos de Tempo de Execução (Runtime Triggers):
- Crescimento (Growth): Acionado quando o posto efetivo ( $\hat{\rho}_\alpha$ ) da distribuição de tokens de contexto on-policy excede a capacidade atual escalonada por um limiar ( $K(t)(1+\epsilon_{grow})$ ). Isso indica que a capacidade representacional atual é insuficiente para capturar a complexidade da distribuição de entrada da política.
- Poda (Pruning): Acionado quando a magnitude relativa da saída de uma cabeça ativa cai abaixo de um limiar ( $\epsilon_{prune}$ ), sinalizando a cabeça como redundante.
Restrições Operacionais:
- Resfriamento (Cooldown): Um número mínimo de passos ( $\Delta_{grace}$ ) é imposto entre eventos para permitir que a política se adapte.
- Inicialização Suave (Soft Initialization): Quando uma nova cabeça é adicionada, sua matriz de projeção de saída ( $W^O$ ) é inicializada como zero. Isso garante que a nova cabeça contribua com zero inicialmente, preservando a continuidade da política.
- Limite de Poda: Quando uma cabeça é removida, a mudança na saída da política é limitada pelo limiar de poda.

Garantias Teóricas
Os autores estabelecem três garantias analíticas para assegurar a estabilidade do processo de aprendizado:

Perda Zero no Crescimento (Proposição 7): Devido à inicialização suave ( $W^O=0$ ), a adição de uma cabeça resulta em nenhuma mudança na saída da política no momento do crescimento.
Limite de Continuidade da Política (Teorema 9): A descontinuidade cumulativa introduzida pelos eventos de poda é limitada linearmente pelo número de eventos de poda e pelo limiar $\epsilon_{prune}$ .
Convergência da Contagem de Cabeças (Proposição 11): Desde que o posto efetivo empírico da distribuição de contexto se estabilize, a contagem de cabeças ativas $K(t)$ converge para um intervalo de estado estacionário determinado pelos limiares de crescimento e poda.

Resultados Experimentais
O método foi avaliado em um manipulador de 2-DOF com fricção de Stribeck através de três regimes de memória ( $\tau_z \in \{1, 2, 5\}$ s) usando 10 sementes aleatórias por regime (30 execuções no total).

Taxa de Sucesso: O Runtime-INCRT alcançou uma taxa de sucesso de 100% (30/30 execuções), eliminando com sucesso o modo de falha de horizonte longo observado na linha de base de $K$ fixo.
Desempenho: Alcançou sucesso total em todos os regimes de memória com um único conjunto de hiperparâmetros, superando a abordagem de $K$ fixo que falhou em $\tau_z = 5$ s.
Dinâmica de Capacidade: Contrariamente à expectativa de que o controlador adaptaria $K(t)$ à complexidade da tarefa, o mecanismo saturou o limite máximo de cabeças ( $K_{max}=8$ ) em todas as execuções. O gatilho de poda nunca foi acionado.
Insights de Ablação:
- Variar $K_{max}$ em $\tau_z = 2$ s mostrou que limites menores ( $K_{max}=2$ ) produziram melhor desempenho médio e menor variância do que limites maiores ( $K_{max}=16$ ), sugerindo que uma maior capacidade não melhora inerentemente o desempenho.
- O desempenho foi não-monotônico em relação ao parâmetro de resfriamento ( $\Delta_{grace}$ ), sendo que o valor padrão foi o ótimo.
- Conclusão sobre o Mecanismo: Os autores concluem que o benefício do Runtime-INCRT advém da trajetória de treinamento em vez da capacidade terminal. A ativação gradual das cabeças atua como um currículo de capacidade implícito dentro de uma única execução de RL, guiando o otimizador para longe de maus atratores locais.

Significância e Alegações
O artigo afirma que o Runtime-INCRT oferece uma alternativa fundamentada à busca de arquitetura offline para controle adaptativo em ambientes não-markovianos. Sua principal contribuição é a demonstração de que a adaptação de tempo de execução da capacidade do modelo, impulsionada pelo posto efetivo da distribuição de dados on-policy, pode resolver falhas de otimização associadas a longos horizontes de memória. Os autores enfatizam que o método elimina a necessidade de busca de hiperparâmetros por tarefa para a contagem de cabeças e fornece garantias analíticas sobre a continuidade da política, distinguindo-se de abordagens padrão de "reiniciar e redimensionar". O trabalho sugere que o processo de crescimento de capacidade serve como um viés indutivo crítico para o sucesso do treinamento de RL em tarefas de controle complexas, em vez de o tamanho final do modelo ser o único determinante do sucesso.

Mais como este