Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

Quando um ser humano ensina uma criança a andar de bicicleta, a lição é uma conversa de olhares, desequilíbrios e palavras de incentivo. A criança aprende ao sentir o deslocamento do equilíbrio, e o pai aprende ao observar como a criança interpreta sua orientação. Esse vai e vem é a essência da inteligência híbrida: duas mentes diferentes trabalhando juntas para resolver um problema que nenhuma delas poderia dominar sozinha. No mundo da robótica, essa parceria é chamada de aprendizado de robôs interativo com humanos. Aqui, uma pessoa atua como professora, guiando um robô através de uma tarefa usando feedback ou demonstrações. A esperança é que o robô aprenda a navegar em uma sala, empurrar uma caixa ou limpar um chão ao compreender os sinais do professor. No entanto, muitas vezes existe um abismo significativo entre o que o professor pretende e o que o robô realmente entende. Se um humano pensa que o robô está confuso, ele pode oferecer uma dica que o robô interpreta como uma recompensa para uma ação completamente diferente. Para construir parcerias melhores, os cientistas devem primeiro entender como os humanos dão sentido ao comportamento de um robô quando não podem falar diretamente com ele.

Uma equipe de pesquisadores partiu para descobrir exatamente como as pessoas interpretam o processo de aprendizado de um robô quando estão apenas observando. Eles não estavam interessados em como um robô aprende matematicamente, mas sim na história que um observador humano conta a si mesmo sobre o que o robô está pensando. Para fazer isso, eles desenvolveram uma nova maneira de estudar a percepção humana que removeu a complicação do ensino ativo. Em vez de pedir às pessoas que interajam com um robô e deem feedback, os pesquisadores simplesmente pediram que assistissem a vídeos de robôs aprendendo e depois descrevessem o que acreditavam estar acontecendo dentro da mente da máquina. Essa abordagem permitiu que os cientistas vissem as suposições puras e sem filtros que as pessoas fazem quando tentam entender um aprendiz artificial.

Em seu primeiro estudo, os pesquisadores entrevistaram nove pessoas que assistiram a um robô aprender a navegar em um ambiente em forma de grade, evitando buracos e encontrando uma saída. Os participantes foram solicitados a verbalizar seus pensamentos em voz alta enquanto assistiam ao movimento do robô. Os pesquisadores buscaram padrões na forma como esses observadores explicavam as ações do robô. Eles descobriram que as pessoas não viam apenas movimentos aleatórios; elas construíam um modelo mental detalhado da vida interna do robô. Esse modelo consistia consistentemente em quatro categorias principais. Primeiro, as pessoas assumiam que o robô tinha objetivos específicos, como querer chegar à saída o mais rápido possível ou tentar evitar cair. Segundo, acreditavam que o robô estava acumulando conhecimento, lembrando quais pontos eram perigosos e quais eram seguros. Terceiro, os observadores pensavam que o robô estava tomando decisões, pesando opções e escolhendo caminhos baseados em uma estratégia. Finalmente, as pessoas inferiam que o robô possuía um mecanismo de aprendizado, uma forma de atualizar seu entendimento com base em erros ou sucessos passados. Essas descobertas sugeriram que os humanos naturalmente projetam uma vida interior rica e humanizada na máquina para tornar seu comportamento compreensível.

Para confirmar essas ideias iniciais e ver se elas se sustentavam em situações mais complexas, os pesquisadores realizaram um segundo estudo maior com trinta e quatro participantes. Eles expandiram o experimento para incluir dois tipos diferentes de tarefas e dois tipos diferentes de algoritmos de aprendizado. Em um cenário, um robô aprendia a limpar uma sala navegando ao redor de móveis e recolhendo sujeira. No outro, um robio diferente aprendia a empurrar uma caixa de medicamentos através de uma mesa para um paciente que não conseguia alcançá-la. Os robôs usavam métodos diferentes para aprender: um usava um método simples de tentativa e erro baseado em tabelas, enquanto o outro usava um método contínuo mais complexo que imita como cérebros biológicos podem processar movimentos suaves. Os participantes assistiram a vídeos desses robôs em três estágios diferentes de aprendizado: inicial, intermediário e tardio. Após cada vídeo, eles avaliaram o quanto os quatro temas de objetivos, conhecimento, tomada de decisão e mecanismos de aprendizado eram relevantes para o que estavam vendo.

Os resultados deste estudo maior confirmaram que os quatro temas identificados no primeiro experimento não foram apenas uma casualidade. Em ambas as tarefas, de limpeza e de empurrar, e independentemente do método de aprendizado complexo que o robô utilizou, as pessoas confiaram consistentemente nessas quatro categorias para dar sentido ao robô. Os pesquisadores descobriram que, à medida que os robôs melhoravam em suas tarefas, a maneira como as pessoas os descreviam mudava. Nos estágios iniciais, os observadores frequentemente pensavam que o robô carecia de conhecimento ou estava simplesmente adivinhando. À medida que o robô melhorava, as pessoas mudavam sua visão, acreditando que o robô havia desenvolvido um plano claro e estava tomando decisões deliberadas. O estudo mostrou que a compreensão humana não é estática; ela evolui conforme o comportamento do robô muda. As pessoas não veem apenas uma máquina seguindo um código; elas veem um agente que está aprendendo, lembrando e planejando.

Os pesquisadores também descobriram que os detalhes específicos dessas suposições eram bastante fluidos. Por exemplo, quando as pessoas pensavam sobre os objetivos do robô, às vezes focavam no resultado final, como alcançar a saída, e outras vezes na qualidade do movimento, como limpar de forma eficiente ou mover-se com segurança. Da mesma forma, ao considerar como o robô aprendia, as pessoas às vezes imaginavam que ele estava aprendendo através de exploração pura, enquanto em outros momentos acreditavam que ele estava aprendendo através de feedback ou por raciocinar sobre o problema. Essa flexibilidade sugere que os humanos possuem um framework dinâmico para interpretar robôs, um que eles ajustam constantemente enquanto observam o desempenho do robô. O estudo não encontrou que o histórico de uma pessoa, como ter filhos ou animais de estimação, alterasse esses padrões fundamentais de pensamento.

Este trabalho destaca um desafio crítico para o futuro da colaboração humano-robô. Como os humanos assumem naturalmente que os robôs têm objetivos, conhecimentos e processos de tomada de decisão semelhantes aos seus, há o risco de que essas suposições estejam erradas. Se um humano acredita que um robô está aprendendo por meio do raciocínio, quando na verdade ele está apenas seguendo uma regra simples, o humano pode fornecer um feedback que confunde a máquina. Os pesquisadores sugerem que, para que os robôs sejam verdadeiramente eficazes como parceiros, seus designers devem entender essas suposições humanas. Ao reconhecer que as pessoas inevitavelmente projetarão uma mente humana em um robô, os engenheiros podem criar sistemas que sejam mais transparentes. Eles podem projetar robôs que comuniquem seu processo real de aprendizado de uma forma que se alinhe às expectativas humanas, reduzindo o abismo entre o que o robô está fazendo e o que o humano pensa que ele está fazendo. Esse alinhamento é essencial para construir o tipo de inteligência híbrida onde humanos e máquinas podem realmente trabalhar juntos, cada um compreendendo o papel do outro na tarefa compartilhada.