Am I Still Coupled to My Environment? Task-agnostic Runtime Telemetry from the Reinforcement-learning Interaction Loop

Imagine um robô aprendendo a correr através de um mundo complexo. Ele toma decisões baseadas no que vê, executa ações e, em seguida, observa o que acontece a seguir. Este ciclo é o batimento cardíaco da inteligência artificial moderna conhecida como aprendizado por reforço. Durante anos, engenheiros confiaram em um único número para dizer se o robô estava indo bem: uma pontuação chamada "recompensa". Se a pontuação sobe, o robô está tendo sucesso. Se ela desce, algo está errado. Mas esta pontuação responde apenas a uma pergunta: o robô alcançou seu objetivo? Ela não consegue responder a uma pergunta mais sutil, porém crítica: o robô ainda está interagindo com o mundo da maneira que deveria? Um robô pode tropeçar, seus sensores podem falhar ou seus motores podem desgastar-se, mas ele ainda pode conseguir chegar à linha de chegada e obter uma pontuação alta. Nesses casos, o sinal de recompensa mente, escondendo o fato de que a máquina está operando em um estado frágil ou quebrado.

Este é o problema que os pesquisadores Wael Hafez e Chenan Wei se propuseram a resolver. Eles questionaram se poderiam construir um tipo diferente de monitor, um que não olhasse para a pontuação final, mas que, em vez disso, ouvisse a conversa entre o robô e seu ambiente. O trabalho deles, conduzido em um mundo simulado onde guepardos digitais correm por um plano plano, introduz uma nova maneira de observar essas máquinas. Em vez de esperar que o rob em falhe em uma tarefa, eles queriam detectar o momento em que o ritmo interno do robô começa a se desviar de seu padrão saudável. Eles desenvolveram um sistema que trata cada passo do robô como uma pequena história: o que ele viu, o que fez e o que aconteceu a seguir. Ao analisar o fluxo dessas histórias, eles encontraram uma maneira de detectar problemas que a pontuação tradicional muitas vezes ignora.

Os pesquisadores testaram sua ideia em vinte e um diferentes guepardos digitais, cada um treinado para correr o mais rápido possível usando dois métodos de aprendizado diferentes. Uma vez que esses agentes foram totalmente treinados, os pesquisadores congelaram seu aprendizado para que eles não mudassem durante o teste. Eles então introduziram várias complicações, ou "perturbações", para ver se o novo monitor conseguia detectá-las. Alguns problemas foram adicionados ao próprio cérebro do robô, como adicionar ruído aleatório aos comandos enviados para suas pernas. Outros foram adicionados ao próprio mundo, como mudar a força da gravidade ou empurrar o robô com uma força externa. No total, eles realizaram cento e sessenta e oito ensaios diferentes onde algo estava errado, ao lado de vinte e um ensaios onde tudo permanecia perfeito.

Para entender o que estavam procurando, os pesquisadores focaram na relação entre as três partes da experiência do robô. Em uma corrida saudável, existe uma conexão estreita e previsível entre o que o robô vê, a ação que ele escolhe e o resultado que ele obtém. Os pesquisadores criaram uma medida dessa conexão, que chamaram de "compartilhamento de acoplamento" (coupling share). Imagine isso como uma forma de verificar quanto da atividade total do robô está de fato ligada ao resultado que ele produz. Quando o robô está saudável, esse elo é forte e consistente. Quando algo dá errado, esse el\o se afrouxa. O robô pode ainda estar se movendo, e o mundo pode ainda estar reagindo, mas a dança específica e característica entre os dois mudou. O novo monitor rastreia essa mudança em tempo real, usando apenas o fluxo de dados que o robô gera enquanto se move. Ele não precisa saber qual é o objetivo do robô, nem precisa ver a pontuação de recompensa. Ele simplesmente pergunta: o robô ainda está falando com o mundo com a mesma voz que usava quando estava saudável?

Os resultados mostraram que essa abordagem é extraordinariamente eficaz. Quando os pesquisadores compararam seu novo monitor com a pontuação de recompensa tradicional, a diferença foi clara. O sistema de recompensa padrão detectou apenas quarenta e quatro por cento dos problemas. Ele frequentemente perdia as mudanças sutis onde o robô estava lutando, mas ainda conseguia terminar a corrida. Em contraste, o novo monitor detectou sessenta e nove por cento dos problemas. Isso significa que ele capturou vinte e cinco pontos percentuais a mais de erros do que o sistema de recompensa, mantendo o mesmo número de alarmes falsos nos robôs saudáveis. Em um teste específico onde a gravidade foi aumentada em dez por cento, o sistema de recompensa detectou o problema em apenas vinte e quatro por cento dos ensaios, enquanto o novo monitor o encontrou em quase metade deles.

Crucialmente, os pesquisadores tiveram o cuidado de explicar o que seu sistema é e o que não é. Eles não criaram uma varinha mágica que conserta robôs quebrados ou uma bola de cristal que prevê o futuro. O sistema não diz ao operador exatamente o que está quebrado, como se um sensor está sujo ou um motor está fraco. Ele também não avisa sempre de um problema significativamente antes da pontuação de recompensa; em muitos casos, o novo monitor e a pontuação de recompensa soaram o alarme ao mesmo tempo. Em vez disso, o sistema atua como uma verificação complementar. Ele fornece uma segunda opinião sobre a saúde da operação da máquina. Se a pontuação de recompensa diz que o robô está bem, mas este novo monitor diz que a interação mudou, ele sinaliza que o robô está operando de uma maneira que não é mais característica de seu estado saudável. Isso dá aos operadores humanos a chance de investigar mais a fundo antes que ocorra uma falha total.

O estudo foi conduzido inteiramente dentro de uma simulação de computador, e os pesquisadores reconhecem que robôs do mundo real enfrentam desafios muito mais complexos e imprevisíveis. Os números específicos que encontraram estão ligados aos guepardos digitais e aos tipos específicos de problemas que introduziram. No entanto, a ideia central mantém uma promessa significativa para o futuro dos sistemas autônomos. À medida que implantamos mais robôs no mundo real, confiar apenas no fato de eles alcançarem seus objetivos pode não ser suficiente. Podemos precisar verificar se o processo subjacente de como eles interagem com o mundo permanece íntegro. Esta pesquisa sugere que, ao ouvir o ritmo da própria interação, podemos construir uma rede de segurança que capture os sinais sutis de decadência muito antes de a máquina parar de se mover.