Decoupled Thinking, Learning, and Action for Continually Growing Autonomous Robots
Este artigo propõe o framework Decoupled Thinking–Learning–Action (D-TLA), que permite que robôs autônomos se adaptem continuamente por meio de módulos independentes, porém interativos, que mantêm o desempenho rotineiro enquanto melhoram significativamente o reconhecimento de eventos raros e o sucesso em tarefas novas.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine um robô que não apenas segue um roteiro, mas que pode pensar sobre um problema, aprender com o que acontece e, então, agir com base nesse conhecimento. Para que uma máquina funcione verdadeiramente no mundo real, ela precisa fazer três coisas continuamente: deve raciocinar sobre o que está acontecendo agora, deve transformar experiências passadas em habilidades que possa usar novamente e deve mover seu corpo para mudar o mundo ou reunir novas informações. Por muito tempo, engenheiros tentaram construir essas habilidades em uma cadeia única e estritamente ligada, onde o robô pensa, depois aprende, depois age, nessa ordem rigorosa. Mas essa abordagem tem uma falha. Se o robô ficar preso pensando em um problema difícil, ele para de se mover e para de aprender, mesmo que pudesse facilmente continuar seu trabalho diário. O desafio é permitir que essas três partes da mente trabalhem ao mesmo tempo sem atrapalharem umas às outras, enquanto ainda permitem que elas conversem entre si quando necessário.
Um pesquisador da Universidade de Informação e Tecnologia de Chengdu propôs uma nova maneira de construir essas máquinas, chamada de estrutura de Pensamento–Aprendizado–Ação Desacoplados. Em vez de forçar o robô a esperar que um cérebro central dê ordens para cada passo individual, eles projetaram um sistema onde o pensamento, o aprendizado e a ação são três processos independentes rodando lado a lado. Eles operam como três trabalhadores separados em uma oficina que não precisam pedir permissão para realizar seus trabalhos, mas que podem deixar notas uns para os outros para melhorar o produto final. O módulo de pensamento pode sugerir uma maneira mais segura de se mover ou apontar o que precisa ser aprendido, mas não congela o módulo de ação se este estiver ocupado resolvendo um quebra-cabeça diferente. Da mesma forma, o módulo de aprendizado pode continuar estudando erros e sucessos passados em segundo plano, mesmo enquanto o robô está ocupado pensando em um novo perigo. Essa separação permite que o robô continue trabalhando e melhorando sem parar, mesmo quando seu processo de raciocínio está ocupado.
O pesquisador testou essa ideia em um armazém simulado onde um robô tinha que mover pacotes. Em um teste, eles forçaram o processo de pensamento do robô a ficar preso em um problema de identidade difícil por um tempo, simulando uma situação em que a máquina está confusa sobre o que é um objeto. Em sistemas antigos, onde o robô tinha que esperar o processo de pensamento terminar antes de fazer qualquer coisa, o robô parava de se mover e falhava em completar suas tarefas rotineiras. A taxa de sucesso para esses trabalhos rotineiros caiu para cerca de metade quando o processo de pensamento estava ocupado por um longo tempo. Em contraste, o novo sistema continuou trabalhando perfeitamente. Ele concluiu cem por cento dos trabalhos de transporte rotineiros e continuou aprendendo com suas ações, mesmo enquanto a parte do pensamento estava ocupada. Crucialmente, o sistema não apenas deixou o robô agir de forma desenfreada; o módulo de pensamento ainda podia enviar uma nota para parar o robô se ele estivesse prestes a fazer algo perigoso. Quando o pesquisador removeu essa capacidade de enviar notas de segurança, o robô começou a fazer movimentos inseguros quase oitenta por cento das vezes. Isso provou que as três partes podiam trabalhar independentemente sem se tornarem isoladas umas das outras.
O segundo teste observou como o robô aprende quando enfrenta um problema raro e complicado. O pesquisador criou uma situação em que um pacote pareceria estar em boas condições no início, mas se desmancharia apenas depois que o robô o tivesse movido por um tempo. Isso exigia que o robô entendesse um padrão ao longo do tempo, não apenas um único instantâneo. Um robô que simplesmente esperasse por esses acidentes raros acontecerem naturalmente enquanto trabalhava só aprendia a reconhecê-los cerca de setenta por cento das vezes. Ele perdia os padrões mais difíceis inteiramente. O novo sistema, porém, usou seu módulo de pensamento para perceber que estava sentindo falta de um tipo específico de experiência. O pensamento então disse ao módulo de ação para realizar deliberadamente certos movimentos para criar exatamente as condições necessárias para ver a falha acontecer. Ao guiar o robô para coletar o tipo certo de dados, o sistema aprendeu a reconhecer essas falhas raras quase perfeitamente, atingindo uma taxa de sucesso de noventa e sete por cento. O robô não apenas obteve mais dados; ele obteve os dados certos porque seu processo de pensamento sabia o que estava faltando.
O teste final mostrou que esse aprendizado também podia funcionar no sentido inverso, mudando como o robô pensa no futuro. O robô foi treinado em um conjunto de problemas conhecidos, mas depois enfrentou uma situação nova e complexa que combinava vários diferentes perigos ao mesmo tempo. A forma antiga de pensar, que possuía uma lista fixa de respostas, falhou em lidar com essa nova mistura, obtendo sucesso apenas quatorze por cento das vezes. O novo sistema, no entanto, analisou suas falhas passadas e percebeu que precisava de uma nova maneira de pensar para lidar com essa combinação específica de problemas. Ele gerou uma nova atividade de pensamento, testou-a e integrou-a em sua mente. Após essa fase de aprendizado, o robô teve sucesso em lidar com a nova situação complexa setenta e quatro por cento das vezes. Notavelmente, ele não perdeu sua capacidade de lidar com os problemas antigos e familiares; manteve sua taxa de sucesso de noventa e seis por cento nesses casos. O robô desenvolveu uma nova capacidade sem esquecer as antigas.
Esta pesquisa sugere que, para que os robôs realmente se adaptem e cresçam ao longo do tempo, eles precisam de uma estrutura que permita que pensem, aprendam e ajam como fluxos separados, mas conectados. Ao permitir que esses processos funcionem independentemente, o robô evita ficar travado quando uma parte está ocupada. Ao permitir que eles se influenciem através de sugestões em vez de comandos, o robô pode permanecer seguro e coletar as informações certas para aprender. Os resultados mostram que esta abordagem permite que uma máquina se torne mais capaz e segura ao longo do tempo, resolvendo novos problemas enquanto lembra como resolver os antigos, tudo isso sem precisar de um único controlador central para gerenciar cada momento de sua existência.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.