Generalist AI Control: Towards Multi-purpose Adaptive Algorithms

Resumo Técnico: Controle de IA Generalista: Rumo a Algoritmos Adaptativos de Propósito Geral

Definição do Problema
A engenharia de controle tradicional baseia-se em paradigmas de design baseados em modelos, onde os controladores são sintetizados explicitamente para sistemas específicos. Esses controladores tipicamente não são transferíveis entre sistemas com ordens, dinâmicas ou estruturas diferentes. Embora abordagens baseadas em aprendizado (aprendizado por imitação, clonagem comportamental) tenham emergido, elas geralmente treinam políticas separadas para cada sistema, falhando em explorar propriedades estruturais compartilhadas entre diversos sistemas dinâmicos. Além disso, os modelos de fundação existentes em robótica frequentemente operam no nível de percepção-ação, entrelaçando decisões de controle com características visuais, o que limita sua aplicabilidade a problemas puramente teóricos de controle, onde as modalidades sensoriais podem variar ou estar ausentes. O desafio central abordado é o desenvolvimento de uma política de controle única e unificada, capaz de regular uma família heterogênea de sistemas dinâmicos (variando em ordem, estabilidade e linearidade) sem necessidade de ajuste por sistema ou modificação arquitetural.

Metodologia
Os autores propõem o Controlador Generalista, um framework baseado em aprendizado que aprende políticas de controle diretamente no domínio do espaço de estados. A abordagem fundamenta-se na percepção de que, enquanto as características visuais variam entre os embodiments, a matemática subjacente dos sistemas dinâmicos (representações de espaço de estados) permanece invariante.

• Representação de Entrada: O controlador aceita um histórico de medições de estado, uma trajetória de referência e uma etiqueta de sistema ($\phi_i$) discreta. A etiqueta do sistema é um identificador rotulado que indica qual sistema específico está sendo controlado; o modelo não infere a identidade do sistema apenas através das observações.
• Representação de Espaço de Estados Dinâmico: Para lidar com sistemas de dimensões variadas (ordens), a arquitetura emprega uma representação de espaço de estados dinâmico utilizando máscara de validade (validity masking). Os vetores de estado são preenchidos com zeros até uma dimensão máxima ($n_{max}$), e uma máscara binária distingue os estados reais dos zeros de preenchimento, permitindo que uma única rede processe entradas de diferentes tamanhos.
• Arquitetura:
  • Codificação de Características: Codificadores paralelos processam o histórico de estados mascarado, a trajetória de referência e a etiqueta do sistema em um vetor de características latentes unificado.
  • Processamento Temporal: Um processador temporal multiescala utiliza dois LSTMs paralelos (um processando a sequência completa e outro em uma sequência subamostrada para capturar dinâmicas mais lentas) e um mecanismo de atenção multi-cabeça para agregar dependências temporais.
  • Mistura de Especialistas (MoE): A etapa final utiliza uma rede de portão (gating network) para ponderar dinamicamente as saídas de múltiplas redes especialistas ($M=3$ no baseline). Isso permite que o controlador se especialize em diferentes regimes dinâmicos (ex: estável vs. instável, oscilatório vs. não oscilatório) dentro de uma única política.
• Treinamento: O modelo é treinado via aprendizado supervisionado (clonagem comportamental) em 314.630 demonstrações geradas de 25 sistemas diversos. Os dados de treinamento incluem sistemas lineares e não lineares, dinâmicas estáveis e instáveis, e comportamentos de fase mínima/não-mínima fase. O objetivo é minimizar o erro quadrático médio entre as ações de controle previstas e aquelas geradas por controladores de Integral Quadrática Linear (LQI) específicos para cada sistema.

Principais Contribuições

1. Política de Controle Unificada: Introdução de uma política de rede neural única capaz de controlar sistemas de ordens variadas (2ª a 4ª ordem) e dinâmicas sem alterações arquiteturais ou reajustes específicos do sistema.
2. Generalização de Espaço de Estados: Demonstração de que o conhecimento de controle pode ser transferido entre sistemas heterogêneos ao operar diretamente em representações de espaço de estados, em vez de características de nível de percepção.
3. Arquitetura Inovadora: Desenvolvimento de uma arquitetura específica combinando máscara de validade para entradas de ordem variável, processamento temporal multiescala e um mecanismo de Mistura de Especialistas para lidar com diversos regimes dinâmicos.
4. Robustez a Condições Não Vistas: Validação de que a política generaliza para condições operacionais não presentes durante o treinamento, incluindo saturação de atuadores, limites de taxa de entrada, distúrbios externos e ruído de medição.

Resultados

• Desempenho em Simulação: Em 25 sistemas de referência (incluindo reatores químicos CSTR, AUVs REMUS, dinâmica longitudinal do Boeing 747 e sistemas mecânicos massa-mola), o Controlador Generalista alcançou desempenho comparável aos controladores LQI específicos do sistema. Métricas como tempo de subida, overshoot e erro de regime permanente foram similares, com o Controlador Generalista apresentando tempos de acomodação ligeiramente melhores em alguns casos (ex: atuadores hidráulicos) e tempos de acomodação marginalmente maiores em casos altamente desafiadores de fase não-mínima.
• Validação em Hardware: A política foi implementada com sucesso em um quadrotor nano-Crazyflie 2.1+. Os experimentos de hardware confirmaram a transferência bem-sucedida de simulação-para-real (sim-to-real), com o controlador mantendo o rastreamento estável apesar de aerodinâmica não modelada, ruído de sensor e atrasos de atuador, sem necessidade de ajuste fino.
• Avaliação de Robustez: Sob condições perturbadas (saturação de atuador, saturação de taxa, ruído), o Controlador Generalista manteve o rastreamento estável. Em contraste, os controladores LQI de baseline exibiram oscilações significativas, fenômenos de windup ou instabilidade sob as mesmas restrições.
• Estudos de Ablação:
  • Mistura de Especialistas: Reduzir o modelo para um único especialista ($M=1$) causou uma queda significativa no desempenho (o MSE aumentou em ordens de magnitude para sistemas complexos como o quadrotor), confirmando a necessidade de MoE para lidar com diversas dinâmicas.
  • Dimensão Oculta: Uma dimensão oculta de $d=32$ ofereceu o melhor equilíbrio entre desempenho e eficiência computacional em comparação com $d=16$ (desempenho inferior) e $d=64$ (ganhos marginais com 4x mais parâmetros).

Significância e Alegações
O artigo posiciona este trabalho como um passo significativo em direção a políticas de controle generalistas dentro de uma família definida de sistemas dinâmicos. Os autores afirmam que o conhecimento de controle pode ser aprendido de maneira agnóstica à tarefa entre famílias de sistemas, analogamente aos modelos de fundação em processamento de linguagem natural e visão computacional.

A significância reside na mudança de paradigma do design de controladores para sistemas específicos para o aprendizado de controladores que incorporam princípios gerais aplicáveis a classes inteiras de sistemas. Isso oferece uma solução potencial para indústrias que exigem automação flexível e reconfiguração rápida.

Limitações e Escopo
Os autores declaram explicitamente as seguintes limitações e fronteiras:

• Requisito de Etiqueta de Sistema: O controlador requer uma etiqueta de sistema conhecida no momento da implantação; ele não realiza identificação de sistema implícita ou adaptação zero-shot para sistemas completamente desconhecidos.
• Dependência do Conjunto de Treinamento: A generalização é limitada à distribuição de sistemas incluídos no conjunto de treinamento. O modelo não consegue generalizar para estruturas de sistemas inteiramente novas não vistas durante o treinamento.
• Restrição SISO: A implementação atual é restrita a sistemas de Entrada Única e Saída Única (SISO). Estender para configurações MIMO (Múltiplas Entradas e Múltiplas Saídas) apresenta desafios adicionais na coordenação entre estado e ação.
• Garantias de Estabilidade: Embora a robustez empírica tenha sido demonstrada, garantias formais de estabilidade para o controlador de rede neural em um framework de generalização de múltiplos sistemas permanecem um desafio teórico em aberto.