It's a matter of timescale: non-linear utility in successor features and multi-objective planning and learning

En el mundo de la inteligencia artificial, a menudo se enseña a las máquinas a tomar decisiones persiguiendo un único objetivo, como un robot aspirador que limpia un suelo o un programa que gana una partida de ajedrez. Pero el mundo real rara vez es así de sencillo. A menudo, un agente debe hacer malabares con varios objetivos contrapuestos a la vez, como un coche autónomo que intenta llegar a un destino rápidamente y, al mismo tiempo, mantenerse seguro y ahorrar energía. Cuando estos objetivos entran en conflicto, la máquina necesita una forma de decidir cuál es más importante. Además, las consecuencias de una decisión pueden manifestarse en diferentes periodos de tiempo. Un pequeño error puede causar un problema inmediato, mientras que una serie de pequeños errores podrían acabar sumando un desastre meses después. Durante años, los investigadores han desarrollado diferentes herramientas matemáticas para manejar estas situaciones, pero generalmente han tratado cada marco temporal como un problema separado, eligiendo un método para los riesgos inmediatos y otro para los promedios a largo plazo.

Un nuevo estudio desafía esta separación, argumentando que las decisiones del mundo real a menudo requieren que un agente se preocupe por las consecuencias inmediatas, a medio plazo y a largo plazo al mismo tiempo. Los investigadores, que trabajan en diversas instituciones de Bélgica, Brasil y Australia, demuestran que confiar en uno solo de estos métodos tradicionales puede conducir a resultados peligrosos o ineficientes cuando intervienen múltiples escalas temporales. Al simular un escenario que involucra a trabajadores expuestos a sustancias tóxicas, muestran que una estrategia diseñada para proteger contra la exposición promedio a largo plazo podría sacrificar accidentalmente a un trabajador ante un pico de peligro a corto plazo, mientras que una estrategia centrada en la seguridad inmediata podría ignorar una crisis de salud de desarrollo lento. Su trabajo sugiere que para construir una inteligencia artificial verdaderamente segura y eficaz, necesitamos nuevas formas de pensar que puedan equilibrar estos diferentes relojes simultáneamente.

El núcleo del problema reside en cómo medimos la "felicidad" o la "utilidad" para un agente. En muchos sistemas de IA estándar, la máquina calcula el promedio de recompensa que espera obtener durante un largo periodo e intenta maximizar ese número. Esto funciona bien para una fábrica que procesa miles de archivos de vídeo al día; si el uso de energía y la velocidad promedio son buenos, el sistema se considera exitoso, incluso si un archivo específico tardó demasiado en procesarse. Sin embargo, este enfoque falla cuando un solo resultado negativo es catastrófico. Considere un paciente sometido a un tratamiento médico. Ese paciente experimentará el tratamiento una sola vez. No le importa el resultado promedio de miles de otros pacientes; le importa su propio resultado específico. Si el tratamiento tiene un riesgo no lineal —es decir, que un pequeño aumento en la dosis provoca un salto masivo en el peligro—, el cálculo del promedio oculta el verdadero riesgo. El paciente necesita un sistema que evalúe el resultado específico de su propio viaje, no el promedio de muchos viajes.

Existe una tercera forma de ver el tiempo, que se centra en el siguiente paso inmediato. Imagine un coche chocando contra un muro. El peligro de lesiones depende de forma no lineal de la fuerza del impacto. Un golpe fuerte es mucho más peligroso que uno suave, y el riesgo no simplemente se suma con el tiempo; cien golpes suaves no equivalen a un choque fuerte. En esta visión, el sistema debe evaluar el riesgo de cada momento tal como ocurre, aplicando una penalización inmediatamente si ocurre una combinación peligrosa de factores. Durante décadas, los investigadores han tratado estas tres perspectivas —promedios a largo plazo, resultados de un solo viaje y riesgos inmediatos paso a paso— como herramientas separadas para trabajos distintos. Los autores de este nuevo artículo argumentan que esta separación es un fallo. Proponen que muchos problemas complejos requieren que un agente se preocupe por las tres escalas temporales a la vez.

Para demostrar este punto, los investigadores crearon una simulación simplificada que involucraba a tres empleados y tres tareas diferentes, cada una con un nivel de toxicidad distinto. El objetivo era asignar estos trabajadores a las tareas durante un periodo de un mes, manteniendo su seguridad. La toxicidad del trabajo no era solo un número simple; tenía diferentes efectos dependiendo de cuándo se midiera. Había un riesgo inmediato de una dosis alta dentro de un solo día, un riesgo a medio plazo de la exposición total durante el mes, y un riesgo a largo plazo de daño acumulado durante muchos meses. El equipo ejecutó la simcción utilizando los tres métodos tradicionales por separado, y luego intentó combinarlos.

Cuando el sistema se centró únicamente en el promedio a largo plazo, encontró una estrategia que mantenía seguros a dos trabajadores experimentados mediante la rotación constante, pero sacrificaba efectivamente al tercer trabajador, menos experimentado, asignándole repetidamente las tareas más peligrosas. La lógica era que el riesgo promedio para el grupo era bajo, por lo que el sistema ignoraba el hecho de que una persona estaba siendo sobrecargada. Cuando el sistema se centró únicamente en el resultado del viaje único, aprendió a rotar a los trabajadores con frecuencia para asegurar que nadie enfrentara una dosis total peligrosamente alta para ese mes específico. Esto mantuvo a todos relativamente seguros, pero resultó en muchos cambios que podrían no ser eficientes. Cuando el sistema se centró únicamente en el riesgo inmediato paso a paso, evitó cambiar de trabajadores por completo, prefiriendo mantenerlos en tareas que coincidieran con su nivel de habilidad, lo cual era un enfoque seguro pero rígido.

El resultado más revelador surgió cuando los investigadores intentaron optimizar para las tres escalas temporales simultáneamente. Utilizaron un método que combinaba los riesgos inmediatos, mensuales y a largo plazo en un único objetivo. La estrategia resultante fue una mezcla de las otras, pero reveló un fallo crítico al intentar equilibrar estos relojes contrapuestos sin un nuevo marco de trabajo. El sistema volvió a tender a sacrificar al trabajador menos experimentado, asignándole las tareas más duras para proteger a los demás tanto de los picos inmediatos como de la acumulación a largo plazo. La simulación mostró que simplemente intentar promediar las diferentes escalas temporales no funciona; la naturaleza no lineal de los riesgos significa que proteger una escala temporal puede poner en peligro inadvertidamente otra. Los investigadores descubrieron que las políticas que funcionaban bien para una escala temporal eran a menudo las peores opciones cuando se consideraban todas las escalas juntas.

Este hallazgo resalta una brecha significativa en la investigación actual de la inteligencia artificial. Si bien tenemos herramientas poderosas para manejar promedios a largo plazo o riesgos inmediatos, carecemos de un método integral para manejarlos juntos. Los autores sugieren que los sistemas futuros necesitan aprender la distribución de los posibles resultados, comprendiendo no solo el resultado promedio, sino el rango completo de lo que podría suceder a través de diferentes ventanas de tiempo. Reconocen que este es un desafío difícil, ya que cambiar una política para mejorar la seguridad en una escala temporal podría empeorarla en otra, creando un complejo panorama de compensaciones. Sin embargo, creen que desarrollar estos enfoques combinados es esencial para aplicaciones del mundo real, desde la gestión de la radioterapia en medicina hasta la optimización del servicio al cliente en los negocios, donde la seguridad y la satisfacción de los individuos deben equilibrarse con la eficiencia del conjunto.

El estudio concluye que la forma en que enseñamos actualmente a las máquinas a tomar decisiones es demasiado estrecha. Al tratar el tiempo como una única dimensión o al elegir una perspectiva sobre las otras, corremos el riesgo de crear sistemas que son seguros en teoría pero peligrosos en la práctica. El camino a seguir requiere nuevos algoritmos que puedan tener en cuenta múltiples escalas temporales a la vez, asegurando que un agente no solo maximice un promedio o evite un mal día, sino que comprenda verdaderamente todo el peso de sus acciones a lo largo de toda su existencia. Esto no es solo un ajuste técnico, sino una evolución necesaria para asegurar que la inteligencia artificial pueda navegar la realidad desordenada y de múltiples capas de la vida humana.