Can you see how I learn? Human observers' inferences about Reinforcement Learning agents' learning processes

Cuando un ser humano le enseña a un niño a montar en bicicleta, la lección es una conversación de miradas, tambaleos y palabras de aliento. El niño aprende sintiendo el cambio en el equilibrio, y el padre aprende observando cómo el niño interpreta su guía. Este intercambio es la esencia de la inteligencia híbrida: dos mentes diferentes trabajando juntas para resolver un problema que ninguna podría dominar por sí sola. En el mundo de la robótica, esta asociación se llama aprendizaje robótico interactivo con humanos. Aquí, una persona actúa como maestro, guiando a un robot a través de una tarea mediante retroalimentación o demostraciones. La esperanza es que el robot aprenda a navegar por una habitación, empujar una caja o limpiar un suelo comprendiendo las señales del maestro. Sin embargo, a menudo existe una brecha significativa entre lo que el maestro pretende y lo que el robot realmente entiende. Si un humano piensa que el robot está confundido, podría ofrecer una pista que el robot interpreta como una recompensa para una acción completamente diferente. Para construir mejores asociaciones, los científicos primero deben comprender cómo los humanos dan sentido al comportamiento de un robot cuando no pueden hablar con él directamente.

Un equipo de investigadores se propuso descubrir exactamente cómo las personas interpretan el proceso de aprendizaje de un robot cuando solo lo están observando. No estaban interesados en cómo un robot aprende matemáticamente, sino en la historia que un observador humano se cuenta a sí mismo sobre lo que el robot está pensando. Para lograrlo, desarrollaron una nueva forma de estudiar la percepción humana que eliminaba la complicación de la enseñanza activa. En lugar de pedir a las personas que interactuaran con un robot y dieran retroalimentación, los investigadores simplemente les pidieron que vieran videos de robots aprendiendo y luego describieran lo que creían que estaba sucediendo dentro de la mente de la máquina. Este enfoque permitió a los científicos ver las suposiciones puras y sin filtros que las personas hacen cuando intentan comprender a un aprendiz artificial.

En su primer estudio, los investigadores entrevistaron a nueve personas que observaron a un robot aprender a navegar en un entorno con forma de cuadrícula, evitando agujeros y encontrando una salida. Se pidió a los participantes que expresaran sus pensamientos en voz alta mientras veían al robot moverse. Los investigadores escucharon patrones en la forma en que estos observadores explicaban las acciones del robot. Descubrieron que las personas no solo veían movimientos aleatorios; construían un modelo mental detallado de la vida interna del robot. Este modelo caía consistentemente en cuatro categorías principales. Primero, las personas asumían que el robot tenía objetivos específicos, como querer llegar a la salida lo más rápido posible o intentar evitar caerse. Segundo, creían que el robot estaba acumulando conocimiento, recordando qué lugares eran peligrosos y cuáles eran seguros. Tercero, los observadores pensaban que el robot estaba tomando decisiones, sopesando opciones y eligiendo caminos basados en una estrategia. Finalmente, las personas inferían que el robot tenía un mecanismo de aprendizaje, una forma de actualizar su comprensión basada en errores o éxitos pasados. Estos hallazgos sugirieron que los humanos proyectan naturalmente una vida interior rica y de tipo humano sobre la máquina para hacer que su comportamiento sea comprensible.

Para confirmar estas ideas iniciales y ver si se mantenían en situaciones más complejas, los investigadores realizaron un segundo estudio más grande con treinta y cuatro participantes. Expandieron el experimento para incluir dos tipos diferentes de tareas y dos tipos diferentes de algoritmos de aprendizaje. En un escenario, un robot aprendía a limpiar una habitación navegando alrededor de muebles y recogiendo la suciedad. En el otro, un robot diferente aprendía a empujar una caja de medicación a través de una mesa hacia un paciente que no podía alcanzarla. Los robots utilizaban diferentes métodos para aprender: uno usaba un método simple de ensayo y error basado en tablas, mientras que el otro usaba un método continuo más complejo que imita cómo los cerebros biológicos podrían procesar movimientos suaves. Los participantes vieron videos de estos robots en tres etapas diferentes de aprendizaje: temprana, media y tardía. Después de cada video, calificaron qué tan relevantes eran los cuatro temas de objetivos, conocimiento, toma de decisiones y mecanismos de aprendizaje para lo que estaban viendo.

Los resultados de este estudio más grande confirmaron que los cuatro temas identificados en el primer experimento no fueron una casualidad. A través de ambas tareas, limpieza y empuje, e independientemente del complejo método de aprendizaje que el robot utilizara, las personas confiaron consistentemente en estas cuatro categorías para dar sentido al robot. Los investigadores encontraron que a medida que los robots mejoraban en sus tareas, la forma en que las personas los describían cambiaba. En las etapas iniciales, los observadores a menudo pensaban que el robot carecía de conocimiento o que simplemente estaba adivinando. A medida que el robot mejoraba, las personas cambiaban su visión, creyendo que el robot había desarrollado un plan claro y estaba tomando decisiones deliberadas. El estudio mostró que la comprensión humana no es estática; evoluciona a medida que el comportamiento del robot cambia. Las personas no solo ven una máquina siguiendo un código; ven un agente que está aprendiendo, recordando y planeando.

Los investigadores también descubrieron que los detalles específicos de estas suposiciones eran bastante fluidos. Por ejemplo, cuando la gente pensaba en los objetivos del robot, a veces se centraban en el resultado final, como llegar a la salida, y otras veces en la calidad del movimiento, como limpiar eficientemente o moverse de forma segura. Del mismo modo, al considerar cómo aprendía el robot, las personas a veces imaginaban que estaba aprendiendo a través de la exploración pura, mientras que en otras ocasiones creían que estaba aprendiendo mediante la retroalimentación o razonando a través del problema. Esta flexibilidad sugiere que los humanos tienen un marco dinámico para interpretar a los robots, uno que ajustan constantemente mientras observan el desempeño del robot. El estudio no encontró que el trasfondo de una persona, como si tuviera hijos o mascotas, cambiara estos patrones fundamentales de pensamiento.

Este trabajo resalta un desafío crítico en el futuro de la colaboración humano-robot. Debido a que los humanos asumen naturalmente que los robots tienen objetivos, conocimientos y procesos de toma de decisiones similares a los suyos, existe el riesgo de que estas suposiciones sean erróneas. Si un humano cree que un robot está aprendiendo mediante el razonamiento cuando en realidad solo está siguiendo una regla simple, el humano podría dar una retroalimentación que confunda a la máquina. Los investigadores sugieren que, para que los robots sean verdaderos compañeros efectivos, sus diseñadores deben comprender estas suposiciones humanas. Al reconocer que las personas inevitablemente proyectarán una mente de tipo humano sobre un robot, los ingenieros pueden crear sistemas que sean más transparentes. Pueden diseñar robots que comuniquen su proceso de aprendizaje real de una manera que se alinee con las expectativas humanas, reduciendo la brecha entre lo que el robot está haciendo y lo que el humano piensa que está haciendo. Esta alineación es esencial para construir el tipo de inteligencia híbrida donde los humanos y las máquinas puedan trabajar verdaderamente juntos, comprendiendo cada uno el rol del otro en la tarea compartida.