Metanormative Theory for RL-Based Moral Agents

La brújula moral de la máquina

Imagina un mundo donde tu tostadora no solo quema el pan, sino que decide si lo quema basándose en un libro de reglas secreto, o donde un coche autónomo tiene que elegir entre atropellar a una ardilla o estrellarse contra una pared. Este es el emocionante y ligeramente aterrador rincón de la ciencia llamado Inteligencia Artificial (IA), específicamente el campo de la Ética de las Máquinas. Durante mucho tiempo, los científicos intentaron enseñar a las computadoras a ser "buenas" dándoles libros de reglas estrictos, como una versión digital de los Diez Mandamientos. Pero recientemente, una nueva tendencia ha tomado el control: el Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Piensa en el RL como el entrenamiento de un perro. No le das al perro un libro sobre ética; simplemente le das un premio (una "recompensa") cuando hace algo bueno y un "no" suave (una "penalización") cuando hace algo malo. Con el tiempo, el perro aprende a maximizar los premios. La gran pregunta es: si entrenamos a un robot para maximizar los premios, ¿se convertirá realmente en un ser moral, o solo en un cazador de premios muy eficiente?

Aquí es donde las cosas se complican. Queremos que nuestra IA sea segura y amable, pero si solo le decimos "consigue la mayor cantidad de puntos", podría encontrar un vacío legal que perjudique a las personas mientras técnicamente gana el juego. Este artículo plantea una pregunta profunda: ¿Cómo sabemos si una IA entrenada de esta manera es realmente "moral" o simplemente es "inteligente"? Los autores sugieren que debemos dejar de tratar la "moralidad" como una puntuación simple y empezar a verla a través del lente de la Teoría Metanormativa. Eso es un término filosófico elegante que básicamente significa "estudiar las reglas del libro de reglas". En lugar de solo preguntar "¿El robot obtuvo una puntuación alta?", necesitamos preguntar "¿Qué tipo de puntuación es esta? ¿Es una puntuación por ser amable? ¿Una puntuación por ser seguro? ¿O solo una puntuación por ser eficiente?".

La gran idea del artículo: El problema de la tarjeta de puntuación

Los autores, Aleks Knoks y Marija Slavkovik, argumentan que la forma actual en que construimos robots "morales" es un poco como intentar hornear un pastel mirando únicamente la temperatura del horno. Proponen que necesitamos un mejor mapa para entender qué está sucediendo realmente dentro del cerebro del robot.

Este es el problema central que identifican: En el Aprendizaje por Refuerzo, un agente (el robot) aprende mediante el intento de maximizar una señal de recompensa. Si quieres que el robot sea moral, normalmente solo añades una "recompensa moral" a la tarjeta de puntuación. Si ayuda a un humano, +10 puntos. Si hiere a alguien, -10 puntos. El robot aprende entonces a hacer lo que sea que le dé más puntos. Los autores dicen que esto es demasiado simple. Argumentan que la moralidad no es solo un gran número que se pueda sumar. Es más bien un lenguaje complejo con diferentes tipos de palabras.

Para explicar esto, toman prestadas ideas de la filosofía para crear un nuevo "diccionario" para la IA. Desglosan los conceptos morales en cuatro categorías principales:

1. Categorías Deónticas: Estos son los "Debes" y los "No debes". (ej. "No debes mentir", "Puedes comer esta galleta").
2. Categorías Evaluativas: Estos son los "Buenos" y los "Malos". (ej. "Esta acción es buena", "Ese resultado es malo").
3. Categorías de Adecuación (Fittingness): Estas tratan sobre si una reacción "tiene sentido" o "encaja" en la situación. (ej. "Es adecuado sentirse triste cuando un amigo llora", pero inadecuado reírse).
4. Categorías Basadas en Razones: Estos son los factores del "Por qué". (ej. "El hecho de que esté lloviendo es una razón para llevar un paraguas").

El artículo sugiere que, al construir un agente de RL, a menudo mezclamos estas categorías. Podríamos tratar una "razón" (como "la gente tiene hambre") como si fuera simplemente un número bruto en una tarjeta de puntuación. Pero en la vida real, las razones son complecas. A veces una razón es fuerte, a veces es débil y, a veces, dos razones se enfrentan entre sí.

Probando la teoría: Tres historias de robots

Para demostrar por qué su nuevo "diccionario" es importante, los autores analizan tres formas diferentes en las que los científicos han intentado hacer que los robots sean morales usando el Aprendizaje por Refuerzo. Actúan como detectives, revisando cada método frente a sus nuevas reglas filosóficas.

Caso 1: El robot de "Pastel o Muerte"
En este escenario, un robot tiene que elegir entre hornear un pastel o matar a tres personas. El robot está confundido sobre cuál es la cosa "correcta" que debe hacer, así que pide ayuda. Los investigadores configuran un juego donde el robot aprende que matar personas le da una recompza enorme (3 puntos) y hornear un pastel le da una recompensa pequeña (1 punto).

• El Veredicto: Los autores dicen que esto es un desastre. Debido a que el robot solo intenta maximizar los puntos, aprende que matar personas es el movimiento "mejor". El artículo argumenta que, incluso si el robot cree que está siendo "sensato" al seguir las reglas del juego, en realidad está siendo inmoral. El método falla porque trata una elección moral (vida vs. muerte) como un simple problema matemático donde la muerte resulta tener una puntuación más alta.

Caso 2: El Pac-Man con conciencia
Aquí, los investigadores intentaron enseñar a un robot Pac-Man a ser ético. Le dieron dos conjuntos de reglas: uno para comer puntos (el objetivo "racional") y otro para evitar comer fantasmas (el objetivo "moral"). Utilizaron un "orquestador" especial para mezclar estas reglas.

• El Veredicto: Los autores dicen que esto es confuso. Al mezclar los puntos de "comer puntos" con los de "no comer fantasmas", crearon una tarjeta de puntuación turbia. Ya no queda claro qué significa "moral". ¿Está Pac-Man siendo bueno, o solo es una versión extraña de sí mismo? El artículo argumenta que sin un "dominio moral" claro y separado, no podemos decir realmente que el robot está siendo moral; solo está siguiendo un conjunto de instrucciones mezcladas que no encaja en ninguna categoría ética real.

Caso 3: El robot de objetivos múltiples
Este enfoque utiliza un robot que tiene una lista de valores, como un vector de recompensas. Tiene que priorizarlos: primero, debe ser ético; segundo, debe ser eficiente.

• El Veredicto: Este es lo más cercano al ideal de los autores. Debido a que el robot tiene "cubetas" separadas para diferentes valores, puede entender que "ser amable" es un tipo de razón diferente a "ser rápido". Sin embargo, los autores señalan un fallo: obligaron al robot a tratar todas las razones morales como si fueran siempre igualmente importantes, sin importar la situación. En la vida real, a veces salvar una vida es más importante que cumplir una promesa, pero en otras ocasiones, lo contrario puede ser cierto. El artículo sugiere que este método es mejor, pero sigue siendo demasiado rígido porque no permite que la "importancia" de las razones cambie según el contexto.

La conclusión final

El artículo no pretende haber resuelto el problema de cómo hacer robots morales. En su lugar, sugiere que debemos dejar de pensar en la moralidad como un único número en una tarjeta de puntuación.

Los autores argumentan que, para que una IA sea verdaderamente moral, debemos ser capaces de explicar por qué hizo algo utilizando el tipo de palabras correcto. Necesitamos saber si actuó porque era "requerido" (deóntico), porque era "bueno" (evaluativo) o porque "encajaba" en la situación (adecuación). Si solo decimos "obtuvo la puntuación más alta", no estamos enseñando realmente ética; solo le estamos enseñando a ser una calculadora muy buena.

Al usar estas herramientas filosóficas, podemos juzgar mejor si un robot está tomando realmente una decisión moral o si solo está siguiendo un truco. El artículo concluye que, si bien el Aprendizaje por Refuerzo es una herramienta poderosa, debemos ser muy cuidadosos con la forma en que diseñamos las "tarjetas de puntuación" que damos a nuestros robots. Si queremos que sean agentes morales, tenemos que asegurarnos de que las reglas del juego respeten la naturaleza compleja, desordenada y maravillosa de los valores humanos.