Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

Resumo Técnico: Desenvolvimento de Ação e Linguagem Orientado pela Curiosidade em Robôs através da Autoexploração

Problema
O artigo aborda uma discrepância fundamental na inteligência artificial e na ciência cognitiva: bebês humanos adquirem competências de linguagem e ação com uma generalização notável a partir de experiências esparsas e limitadas, enquanto modelos artificiais de grande escala (como os LLMs) requerem bilhões de tokens de treinamento para alcançar capacidades semelhantes. O problema central é identificar os mecanismos que permitem esse aprendizado de desenvolvimento eficiente, focando especificamente na composicionalidade (a capacidade de recombinar sistematicamente elementos conhecidos em estruturas novas), na generalização a partir de dados mínimos e no tratamento de exceções (gerenciar irregularidades sem esquecimento catastrófico). Os autores investigam se a autoexploração impulsionada pela curiosidade em agentes incorporados pode replicar as trajetórias de desenvolvimento observadas em bebês humanos, como a transição da memorização mecânica para a generalização sistemática e a emergência de curvas de aprendizado em forma de U durante o tratamento de exceções.

Metodologia
O estudo utiliza um robô móvel simulado equipado com um braço manipulador, sensores visuais e sensores táteis distribuídos. O robô aprende a executar comandos motores em resposta a sentenças imperativas (ex: "empurre cubo vermelho") através de uma nova integração de Inferência Ativa e Aprendizado por Reforço (RL).

• Arquitetura do Modelo: O sistema utiliza uma Rede Neural Recorrente Variacional (VRNN) composta por três componentes principais:
  1. Modelo Forward (Direto): Prediz observações sensoriais futuras ($o_{t+1}$) baseadas em sensações atuais ($o_t$), comandos de voz ($o_{cw}$) e comandos motores ($a_t$). Ele aprende minimizando a Energia Livre de Evidência ($F$), que equilibra precisão (erro de reconstrução) e complexidade (divergência de Kullback-Leibler entre a posterior e a prior).
  2. Ator: Gera comandos motores para maximizar o valor previsto de resultados futuros.
  3. Crítico: Estima a função de valor ($Q$) usando o algoritmo Soft Actor-Critic (SAC).
• Motivação Intrínseca (Curiosidade): Diferente do RL padrão que depende apenas de recompensas extrínsecas (sucesso da tarefa), este framework incorpora recompensas intrínsecas derivadas da Energia Livre Esperada ($G$). O agente é motivado a minimizar $G$, que inclui:
  • Curiosidade (Valor Epistêmico): Maximizar o ganho de informação ao buscar consequências sensoriais imprevisíveis (modelado como a maximização da divergência KL entre a prior e a posterior).
  • Entropia Motora: Incentivar movimentos exploratórios aleatórios para evitar a convergência prematura.
  • Recompensa Extrínseca: Alcançar objetivos especificados por sentenças imperativas.
• Configuração Experimental: O robô opera em um simulador de física (PyBullet) com um conjunto de objetos variando em forma e cor. As sentenças imperativas são compostas por verbos, adjetivos e substantivos.
  • Experimento 1: Examina o efeito dos níveis de curiosidade (nenhuma, sensório-motora e total) na velocidade de aprendizado e generalização.
  • Experimento 2: Testa o impacto da escala composicional (variando tamanhos de vocabulário) no desempenho de generalização.
  • Experimento 3: Investiga o tratamento de exceções ao trocar mapeamentos específicos de comando-ação para induzir trajetórias de aprendizado não monotônicas.

Principais Contribuições

1. Inferência Amortizada para Aprendizado de Desenvolvimento: O artigo propõe um método para "amortizar" a inferência usando Q-learning para aproximar a minimização da energia livre esperada. Isso permite que os agentes aprendam a ser curiosos, efetivamente recompensando a aqução de ganho de informação junto com o sucesso da tarefa.
2. Operacionalização da Composicionalidade: O estudo define a composicionalidade não como uma estrutura semântica formal, mas como a capacidade de generalização sistemática através de novas combinações de elementos conhecidos (verbos, adjetivos, substantivos) em um ambiente incorporado.
3. Explicação Mecanística do Aprendizado em Forma de U: O modelo demonstra como o desempenho de desenvolvimento em forma de U (correto $\to$ erro $\to$ correto) emerge naturalmente da tensão entre memorização mecânica, sobregeneralização e a subsequente reorganização das representações internas para lidar com exceções.

Resultos

• A Curiosidade Acelera o Aprendizado: Agentes com "toda a curiosidade" (incluindo voz de feedback) alcançaram uma taxa de sucesso de generalização de 85,1% em sentenças não aprendidas após 60.000 épocas, enquanto agentes sem curiosidade atingiram apenas 41% no mesmo estágio. Estender o treinamento sem curiosidade para 120.000 épocas resultou em desempenho comparável (80,8%), indicando que a curiosidade auxilia principalmente a eficiência de amostragem e a velocidade de aprendizado, em vez de ser estritamente necessária para a capacidade final.
• Dependência de Escala: O desempenho de generalização é altamente dependente da escala dos elementos composicionais. À medida que o tamanho do vocabulário aumentou (de pequeno para grande), a taxa de sucesso em objetivos não aprendidos melhorou dramaticamente (de ~29% para 85%), apoiando a hipótese de que repertórios composicionais maiores facilitam uma melhor generalização a partir de dados esparsos.
• Progressão da Memorização para a Generalização: A análise das representações internas (via PCA) revelou que, no início do treinamento, o robô tinha sucesso apenas em pares sentença-ação exatamente aprendidos. A generalização para novas combinações emergiu apenas depois que as representações internas de verbos e adjetivos se tornaram fatoradas e alinhadas.
• Tratamento de Exceções e Curvas em Forma de U: No Experimento 3, 9 de cada 10 robôs exibiram curvas de aprendizado características em forma de U quando treinados com mapeamentos de comando-ação trocados. A análise interna mostrou que o robô inicialmente sobregeneralizou (aplicando a regra geral às exceções), causando erros, antes de eventualmente redescrever suas representações internas para codificar corretamente as exceções.
• Planejamento Mental: Robôs totalmente treinados puderam gerar "planos mentais" precisos (simulando estados sensoriais futuros sem entrada sensorial real) para alcançar objetivos, enquanto robôs parcialmente treinados produziram previsões imprecisas, destacando o papel de um modelo forward robusto na conceitualização.

Significância e Alegações
O artigo afirma que seus resultados fornecem uma explicação mecanística de como a motivação intrínseca (curiosidade) e a inferência ativa podem apoiar a generalização composicional escalável e o tratamento de exceções em agentes artificiais. As descobertas sugerem que:

• A exploração impulsionada pela curiosidade é um mecanismo crítico para acelerar o aprendizado de desenvolvimento e alcançar uma complexidade de amostragem eficiente, abordando o problema da "pobreza do estímulo" ao permitir que os agentes aprendam a generalização estruturada a partir de dados limitados.
• O aprendizado em forma de U não é meramente um modo de falha, mas uma assinatura de redescrição representacional, onde o agente reorganiza seu conhecimento interno para acomodar exceções, espelhando padrões observados na aquisição de linguagem infantil.
• A escala importa: A capacidade de generalizar sistematicamente não é apenas uma função do algoritmo de aprendizado, mas é fortemente influenciada pela riqueza do ambiente composicional (tamanho do vocabulário).

Os autores declaram explicitamente modéstia em relação às suas alegações: o modelo é um testbed simplificado e não um modelo abrangente do desenvolvimento da linguagem humana. Carece do suporte social, atenção conjunta e estágios de desenvolvimento progressivos presentes em bebos humanos. O estudo visa demonstrar como a generalização estruturada pode emergir do aprendizado sensório-motor impulsionado pela curiosidade sob pressupostos mínimos, em vez de replicar toda a complexidade do desenvolvimento cognitivo humano.