Los seres humanos son notoriamente malos calculando el riesgo. No sopesamos las probabilidades como un matemático; en su lugar, las sentimos. Tendemos a temer una pequeña posibilidad de una pérdida terrible mucho más que una gran posibilidad de una moderada, y a menudo perseguimos una mínima posibilidad de una ganancia masiva incluso cuando las probabilidades están en nuestra contra. Esto no es un fallo en nuestro software; es cómo estamos cableados. Durante décadas, economistas y psicólogos han utilizado un marco llamado Teoría del Prospecto Acumulativo para describir estas peculiaridades. Este sugiere que juzgamos los resultados no por su valor absoluto, sino por cómo se comparan con un punto de referencia personal, y que distorsionamos la probabilidad de los eventos, sobreestimando los desastres raros y subestimando los comunes.

Durante mucho tiempo, el campo de la inteligencia artificial, específicamente el aprendizaje por refuerzo, ignoró estas peculiaridades humanas. En este campo, un agente aprende a tomar decisiones interactuando con un entorno para maximizar una recompensa. El enfoque estándar asume que el agente es perfectamente racional, calculando el resultado esperado promedio de cada camino posible y eligiendo aquel con el número más alto. Esto funciona bien para las máquinas, pero falla al intentar capturar cómo se comportan realmente los humanos en situaciones complejas e inciertas. Cuando intentamos construir una IA que trabaje junto a las personas o tome decisiones por ellas, un agente puramente racional suele actuar de formas que resultan frías, irracionales o simplemente erróneas para un observador humano. La pregunta que los investigadores se han estado planteando es si podemos enseñar a las máquinas a pensar más como nosotros, no solo en sus elecciones finales, sino en cómo perciben el riesgo y la recompensa.

Un equipo de investigadores ha dado ahora un paso significativo hacia la respuesta a esa pregunta. Han desarrollado un nuevo marco matemático que permite a los agentes de inteligencia artificial optimizar su comportamiento basándose en los principios de la psicología humana en lugar de en el cálculo frío. En una serie de simulaciones, demostraron que, al enseñar a un agente a ver el mundo a través del lente de la Teoría del Prospecto Acumulativo, la máquina comienza a exhibir los mismos comportamientos de riesgo matizados y, a veces, contradictorios que muestran los humanos. Los investigadores no solo propusieron una teoría; construyeron un algoritmo práctico que puede aprender estos comportamientos y demostraron que funciona matemáticamente, ofreciendo una forma de alinear la IA con las preferencias humanas en entornos de alto riesgo como las finanzas, la atención médica y la gestión del tráfico.

El núcleo de su trabajo es un nuevo método para enseñar a un agente cómo aprender. En el aprendizaje por refuerzo tradicional, el agente intenta maximizar la suma de las recompensas que espera obtener. El nuevo método cambia el objetivo. En lugar de preguntar: "¿Cuál es la recompensa promedio?", pregunta: "¿Cómo percibe un humano este flujo de recompensas?". Para lograr esto, el agente primero debe decidir qué cuenta como una ganancia y qué cuenta como una pérdida con respecto a un punto de referencia específico. Una disminución del dolor de un nivel siete a cinco podría sentirse como una victoria masiva si la base del paciente es siete, pero como una mejora menor si su base es dos. El agente luego aplica una transformación especial a estas ganancias y pérdidas, haciendo que el dolor de una pérdida se sienta más pesado que la alegría de una ganancia equivalente. Finalmente, distorsiona las probabilidades, haciendo que los eventos raros se sientan más probables y los comunes menos probables, tal como lo hace la mente humana.

Los investigadores enfrentaron un obstáculo significativo para hacer que esto funcionara. El paisaje matemático creado por estas distorsiones de tipo humano es increíblemente accidentado y complejo. A diferencia de las colinas suaves y predecibles de la optimización estándar, este nuevo paisaje está lleno de picos afilados y valles profundos, lo que dificulta que un algoritmo encuentre el mejor camino sin quedarse estancado. Además, las herramientas estándar utilizadas para enseñar a la IA cómo mejorar sus decisiones no se aplicaban aquí porque la función objetivo de tipo humano no sigue las reglas simples de adición y linealidad en las que la mayoría de los algoritmos de aprendizaje se apoyan. El equipo tuvo que derivar un conjunto completamente nuevo de reglas, un "teorema del gradiente de política", que actúa como una brújula para el agente. Este nuevo teorema proporciona una forma de calcular la dirección en la que el agente debe cambiar su comportamiento para mejorar su desempeño, incluso cuando ese desempeño se mide mediante un estándar complejo y de tipo humano.

Para probar su nueva brújula, los investigadores realizaron una serie de experimentos. En un escenario simple, colocaron a un agente en una situación en la que tenía que elegir entre una recompensa pequeña y segura y una recompensa grande y riesgosa. Un agente estándar y racional siempre elegía la opción con el pago promedio más alto, incluso si eso significaba arriesgarse. Un agente adverso al riesgo, diseñado para evitar la incertidumbre, evitaba consistentemente la apuesta. Pero el agente entrenado con el nuevo marco de tipo humano mostró algo más interesante. Cuando la elección involucraba ganancias potenciales, actuaba con cautela, prefiriendo la opción segura. Sin embargo, cuando el escenario se invertía para involucrar pérdidas potenciales, el mismo agente se volvía repentinamente audaz, eligiendo la opción riesgosa para evitar una pérdida segura. Este cambio de comportamiento, conocido como el efecto de reflexión, es una característica distintiva de la toma de decisiones humana que los modelos de IA estándar luchan por replicar. El nuevo algoritmo capturó esta sutileza perfectamente, utilizando los mismos ajustes internos para ambos escenarios.

Los investigadores también compararon su método con enfoques existentes que intentaban modelar el riesgo. Encontraron que los métodos más antiguos, que dependían de la estimación de orden cero (esencialmente adivinar la dirección de mejora probando pequeños cambios y viendo qué sucedía), tenían dificultades a medida que los problemas se volvían más complejos. Estos métodos se volvían ineficientes y lentos cuando el número de variables aumentaba. En contraste, el nuevo algoritmo, que utiliza información de primer orden para calcular la dirección exacta de mejora, escalaba mucho mejor. Se mantuvo eficiente incluso cuando la complejidad del entorno crecía, lo que sugiere que podría aplicarse a problemas del mundo real con muchas partes móviles, como la gestión de una red eléctrica o el comercio de acciones.

Las implicaciones de este trabajo se extienden más allá de los juegos simples. Los investigadores ilustraron cómo este enfoque podría usarse en campos críticos. En la atención médica, por ejemplo, un médico que gestiona el dolor crónico de un paciente podría necesitar equilibrar el alivio inmediato contra el riesgo de dependencia a largo plazo. Una IA estándar podría simplemente minimizar el puntaje de dolor promedio, ignorando potencialmente el miedo del paciente a los síntomas de abstinencia. Un agente alineado con el humano, sin embargo, podría ponderar más pesadamente el miedo a un efecto secundario raro pero catastrófico, lo que conduciría a planes de tratamiento que se sientan más seguros y considerados para el paciente. Del mismo modo, en las finanzas, un agente podría ajustarse para reflejar la tolerancia al riesgo específica de un inversor, no solo ajustando un solo número, sino cambiando fundamentalmente cómo percibe la probabilidad de caídas o bonanzas del mercado.

El estudio también aclaró lo que se requiere para que estos agentes funcionen. Los investigadores señalaron que, para que el algoritmo funcione, las preferencias humanas —cuánto teme una persona una pérdida o cómo distorsionan las probabilidades— deben conocerse de antemano. Estas no son aprendidas por el agente desde cero, sino que se proporcionan como parte del modelo, de la misma manera que se establecen las reglas de un juego. Esto permite que el sistema sea adaptado a individuos o grupos específicos. Los investigadores demostraron que, al ajustar el punto de referencia o la sensibilidad a las pérdidas, el comportamiento del agente podía cambiar drásticamente, probando que el sistema es lo suficientemente flexible como para modelar una amplia gama de actitudes humanas.

Si bien los resultados son prometedores, los investigadores son cuidadosos al enmarcar sus hallazgos dentro de los límites de sus simulaciones. Han demostrado que el algoritmo converge a una solución estable y que puede encontrar políticas óptimas en entornos complejos y no lineales. Han demostrado, a través de simulaciones, que superan a los métodos anteriores en términos de velocidad y escalabilidad. Sin embargo, aún no han implementado este sistema en un entorno real y vivo donde las vidas humanas o los activos financieros estén en riesgo inmediato. El trabajo sigue siendo un avance teórico y computacional, una prueba de concepto de que las máquinas pueden ser enseñadas a navegar el desordenado e irracional paisaje de la percepción del riesgo humano.

El camino a seguir implica refinar estos modelos y probarlos en escenarios del mundo real más diversos. Los investigadores sugieren que el trabajo futuro podría centrarse en aprender las preferencias humanas directamente de los datos, en lugar de tenerlas preprogramadas, y extender la teoría a problemas de horizonte infinito y continuo. También ven potencial en combinar este enfoque con otros métodos de aprendizaje a partir de la retroalimentación humana, creando un sistema híbrido que pueda adaptarse a las preferencias cambiantes con el tiempo. Por ahora, el logro se mantiene como un puente entre dos mundos: la lógica fría de la optimización de las máquinas y la realidad cálida y, a menudo, contradictoria de la toma de decisiones humana. Ofrece una forma de construir una IA que no solo calcula el mejor resultado, sino que comprende lo que ese resultado significa para las personas a las que sirve.