Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

Imagina un mundo donde las computadoras no solo juegan juegos, sino que aprenden a ser buenos compañeros de equipo. Este es el reino del Aprendizaje por Refuerzo Multi-Agente, una rama de la inteligencia artificial donde los programas informáticos (agentes) descubren cómo cooperar probando cosas y obteniendo puntos por los buenos movimientos. Por lo general, estos agentes son egoístas; solo les importa su propia puntuación. Si pueden engañar a un compañero para obtener una recompensa mayor, a menudo lo harán. Para evitar esto, los científicos intentan enseñarles a preocuparse por los demás añadiendo un "bono social" a su puntuación. Pero aquí está la parte difícil: ¿cuánto debería valer ese bono? ¿Debería ser un susurro tenue o un grito fuerte? Hasta ahora, los científicos la mayoría de las veces solo han adivinado o ajustado estos números a mano, esperando tropezar con la cantidad adecuada.

La gran pregunta que aborda este artículo es: ¿Podemos dejar de adivinar y, en su lugar, medir exactamente cuánto sienten los humanos cuando defraudan a alguien? Los autores analizan un sentimiento llamado culpa —esa sensación de pesadez en el estómago cuando tu elección perjudica a otra persona—. Se preguntan si pueden tomar el "peso" de la culpa humana, medirlo en un laboratorio y luego entregar ese número exacto a una computadora para que aprenda a preocuparse por su compañero tal como lo haría una persona. Si tienen éxito, podríamos construir una IA que no solo siga reglas estrictas, sino que realmente comprenda el costo emocional de sus acciones.

---

El Experimento: Enseñando a los Robots a Sentir Culpa

En este estudio, dos investigadores, Aaditya Mehta y Arya Shah, decidieron dejar de adivinar y empezar a medir. Querían ver si podían "calibrar" la culpa artificial utilizando datos humanos reales. Piensa en esto como sintonizar una radio: en lugar de girar el dial hasta que la música suene bien, encontraron la frecuencia exacta donde el cerebro humano canta la canción de la culpa, y luego sintonizaron al robot a esa misma estación.

¿De dónde obtuvieron los datos?
Utilizaron un conjunto de datos público llamado SoDec, que contiene escaneos cerebrales y registros de comportamiento de 40 personas reales. En el experimento original, estas personas jugaron un juego en el que tenían que elegir entre una opción Segura (una recompensa pequeña garantizada) y una opción Arriesgada (un lanzamiento de moneda que podía dar una gran recompensa o nada). A veces jugaban para sí mismos y otras veces jugaban para sí mismos y para un compañero.

Los investigadores observaron un momento específico: cuando una persona elegía la opción Arriesgada y el compañero terminaba con un mal resultado. Los investigadores se preguntaron: ¿Cuánto cae la felicidad de la persona porque se siente responsable de la mala suerte de su compañero? Al analizar los datos, calcularon un número específico que representa este "peso de la culpa". Descubrieron que por cada unidad de mala suerte que sufría un compañero, la felicidad de la persona disminuía por un factor de 1.118.

El Juego del Robot
A continuación, construyeron un patio de juegos digital llamado el entorno Social Lottery. Colocaron dos agentes de IA (usando un método de aprendizaje inteligente llamado PPO) en este juego. Los agentes tenían que tomar las mismas decisiones de Seguro vs. Arriesgado. Los investigadores probaron cuatro formas diferentes de enseñar a los agentes:

1. El Robot Egoísta: Sin nada de culpa. Solo le importaban sus propios puntos.
2. El Robot que Adivina: Tenía una penalización por culpa, pero el número era solo una suposición aleatoria (0.5).
3. El Robot "Perfecto": Tenía una penalización por culpa de exactamente 1.0, un número redondo y estándar que los científicos suelen usar.
4. El Robot Medido por Humanos (NeuroGuilt): Este utilizó el número exacto derivado de los datos del cerebro humano: 1.118.

¿Qué Pasó?
Después de dejar que los robots jugaran 20,000 rondas del juego, los resultados fueron fascinantes.

• El Robot Egoísta fue un desastre para el trabajo en equipo. Elegía la opción Arriesgada casi todo el tiempo (solo 10% de elecciones seguras), ignorando por completo la seguridad de su compañero.
• El Robot que Adivina fue un poco mejor, pero seguía sin ser muy considerado.
• El Robot "Perfecto" (con el número redondo 1.0) estaba bien, pero aún no coincidía del todo con el comportamiento humano.
• El Robot Medido por Humanos fue la estrella del espectáculo. Eligió la opción Segura el 45.9% de las veces.

¿Por qué es esto importante?
Los investigadores compararon las elecciones de los robots con las elecciones reales hechas por los 40 humanos en el estudio original. Los humanos eligieron la opción Segura el 48.4% de las veces.

El Robot Medido por Humanos estuvo increíblemente cerca del comportamiento humano. La diferencia entre las elecciones del robot y las de los humanos fue minúscula (una distancia matemática llamada divergencia KL de 0.0012). En comparación, los otros robots estaban muy lejos, con diferencias cientos de veces mayores.

Aún más interesante, el "Robot Perfecto" usó un número de culpa de 1.0, mientras que el "Robot Medido por Humanos" usó 1.118. Podrías pensar que un número mayor significa una penalización más fuerte y un mejor comportamiento, pero este no fue el caso aquí. El robot con el número ligeramente mayor (1.118) cometió menos errores y sintió menos "masa de penalización por culpa" en total porque eligió el camino seguro con más frecuencia. Esto demuestra que no se trata solo de tener una penalización; se trata de tener la cantidad correcta de penalización, calibrada exactamente a cómo se sienten los humanos.

La Conclusión

Este artículo sugiere que no necesitamos inventar nuevas reglas para que la IA sea moral. En su lugar, podemos observar cómo se sienten realmente los humanos cuando defraudan a alguien, medir ese sentimiento y copiarlo directamente en la máquina. Al utilizar un número derivado de cerebros humanos reales (1.118), la IA aprendió a preocuparse por su compañero casi tan bien como lo haría un humano.

Los investigadores advierten que esto es una simulación y que los datos humanos mostraron un efecto de "pequeño a moderado" que no era estadísticamente perfecto por sí solo. Sin embargo, el resultado es una fuerte pista: si queremos que la IA se alinee con los valores humanos, deberíamos dejar de adivinar los números y empezar a medir la experiencia humana detrás de ellos. Es un paso hacia la construcción de una IA que no solo calcula el mejor movimiento, sino que comprende el peso de sus decisiones.