Position: Evaluations of AI Moral Reasoning Still Miss Half of the Picture
Este artículo sostiene que las evaluaciones actuales del razonamiento moral de la IA se centran excesivamente en la alineación de valores mientras descuidan la aplicación de normas sensible al contexto, y propone una agenda de investigación para abordar este vacío mediante representaciones formales estandarizadas, conjuntos de datos anotados por expertos y protocolos de evaluación distintos para la competencia normativa.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cuando las personas le piden consejo a una computadora sobre una elección difícil, a menudo están haciendo una pregunta que tiene dos partes muy diferentes. La primera parte trata sobre lo que nos importa: ¿valoramos la amabilidad por encima de las reglas estrictas, o la justicia por encima de la lealtad? La segunda parte trata sobre cómo usamos esos intereses para tomar una decisión en una situación específica. Imagine que está tratando de decidir si decirle una verdad dolorosa a un amigo. Saber que usted valora la honestidad es una cosa; saber exactamente cómo se aplica ese valor cuando la verdad podría herir a alguien que ama es otra. Esta segunda parte requiere seguir un conjunto de principios que le indican cómo sopesar diferentes preocupaciones entre sí. Durante años, los científicos que estudian la inteligencia artificial se han centrado casi exclusivamente en la primera parte, comprobando si las respuestas de una máquina coinciden con lo que los humanos prefieren generalmente. Pero un nuevo análisis sugiere que, al detenerse ahí, los investigadores han pasado por alto la prueba más importante de si una máquina puede realmente pensar como un agente moral.
Un equipo de investigadores de la Universidad de Connecticut, la Universidad Carnegie Mellon y Hugging Face ha examinado cómo evaluamos actualmente el razonamiento moral de los grandes modelos de lenguaje. Estos son los poderosos programas informáticos que pueden escribir ensayos, responder preguntas y ofrecer consejos. Los autores argumentan que el campo se ha centrado demasiado en un "problema de valores morales", que simplemente pregunta si las respuestas de la computadora se alinean con las opiniones humanas. Sostienen que este enfoque deja el "problema de las normas morales" prácticamente inexplorado. El problema de las normas morales es el desafío más difícil de ver si una máquina puede identificar los principios correctos para una situación y aplicarlos correctamente para llegar a una conclusión. Los investigadores descubrieron que las pruebas actuales son como comprobar si un estudiante se ha memorizado una lista de valores, pero nunca preguntarle si puede usar esos valores para resolver un problema complejo.
Para entender por qué esta distinción es importante, considere cómo los científicos han medido tradicionalmente la moralidad tanto en humanos como en máquinas. Se han basado en gran medida en marcos como la Teoría de los Fundamentos Morales, que desglosa la moralidad humana en categorías amplas como el cuidado, la justicia y la lealtad. Estas herramientas son excelentes para describir lo que la gente tiende a valorar. Si le pides a una computadora que elija entre salvar a una persona o a cinco, y elige a las cinco, los investigadores pueden decir que la computadora se alinea con el valor humano de cuidar al mayor número de personas. Sin embargo, los investigadores señalan que preocuparse por un valor no es lo mismo que saber cómo aplicarlo. Una máquina puede estar de acuerdo en que "el daño es malo", pero puede no comprender que, en algunos sistemas éticos, causar daño a una persona para salvar a cinco es una violación de una regla diferente. Las pruebas actuales a menudo confunden la capacidad de una máquina para decir las palabras correctas con su capacidad para realizar el razonamiento correcto.
Los autores revisaron docenas de estudios y parámetros existentes utilizados para evaluar la moralidad de la IA. Descubrieron que casi todas estas pruebas se agrupan en torno al problema de los valores morales. Estas pruebas piden a la computadora que elija una respuesta de una lista o que describa una preferencia, y luego comparan esa elección con lo que elegiría un grupo de humanos. Si bien esto nos dice qué prioriza la máquina, no nos dice si la máquina puede construir un argumento válido basado en una teoría ética específica. Los investigadores encontraron que muy pocas pruebas comprueban realmente si una máquina puede tomar un conjunto de principios, aplicarlos a una situación nueva y complicada, y explicar su razonamiento paso a paso. Cuando las pruebas intentan mirar el razonamiento, a menudo utilizan las mismas categorías de valores amplios como un atajo, asumiendo que si una máquina se preocupa por la "justicia", debe saber cómo aplicar las reglas de la justicia. Los autores argumentan que esto es un error, porque diferentes teorías éticas pueden reclamar todas que se preocupan por la justicia mientras exigen resultados completamente diferentes.
Esta confusión crea una brecha en nuestra comprensión de lo que estas máquinas realmente pueden hacer. Los investigadores identificaron tres piezas faltantes específicas en el panorama de evaluación actual. Primero, no existe un conjunto compartido de alta calidad de respuestas correctas sobre cómo deben aplicarse las reglas morales en diferentes situaciones. Sin una referencia estándar, cada equipo de investigación construye su propia prueba, lo que hace imposible comparar resultados o ver un progreso real. Segundo, las pruebas no observan de cerca los pasos que da una máquina para llegar a una conclusión. Una máquina podría obtener la respuesta correcta por suerte o por adivinación, pero los métodos actuales a menudo no logran detectar si el razonamiento detrás de esa respuesta es defectuoso. Tercero, las pruebas no comprueban si la máquina puede detectar los detalles más importantes de una historia. Antes de que una máquina pueda aplicar una regla, primero debe determinar qué partes de una situación importan moralmente, y las herramientas actuales no miden bien esta habilidad.
Para solucionar estos problemas, los autores proponen un nuevo camino a seguir para el campo. Sugieren que los científicos necesitan crear un lenguaje común para describir las teorías éticas, de modo que diferentes investigadores puedan construir pruebas que hablen de los mismos principios. Hacen un llamado a la creación de nuevos conjuntos de datos donde expertos en ética anoten cómo deben aplicarse reglas específicas a escenarios del mundo real. Finalmente, instan a la comunidad a dejar de confundir la prueba de lo que una máquina valora con la prueba de cómo razona. Una máquina debe ser juzgada por su capacidad de seguir un camino lógico desde un principio hasta una decisión, no solo por si su elección final coincide con la opinión humana. Los investigadores concluyen que, si bien hemos progresado mucho en la comprensión de lo que las máquinas valoran, apenas hemos comenzado a comprender si realmente pueden reflexionar sobre un problema moral. Hasta que construyamos las herramientas para probar la aplicación de las reglas, no sabremos si estos sistemas son capaces del tipo de razonamiento moral en el que los humanos confían en sus momentos más difíciles.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.