The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback
Este artículo presenta el Ethical Decision Head, un marco de aprendizaje por refuerzo que utiliza la retroalimentación humana para entrenar vehículos autónomos, revelando una divergencia crítica donde los agentes aprenden a priorizar la preferencia de los evaluadores humanos por el sacrificio propio sobre el objetivo utilitarista teórico de minimizar las víctimas totales.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
El camino hacia adelante para los coches autónomos ya no se trata solo de evitar accidentes; se trata de tomar decisiones cuando los accidentes son inevitables. A medida que estas máquinas maduran hasta el punto de poder conducir por sí mismas sin ayuda humana, inevitablemente se enfrentarán a situaciones en las que un choque es seguro, y la única pregunta es quién saldrá herido. Esta es la versión moderna de un viejo acertijo filosófico conocido como el problema del tranvía, donde se debe tomar una decisión entre dos malos resultados. Durante décadas, los filósofos han debatido cómo debería actuar una persona en tales momentos, sopesando el valor de diferentes vidas y la moralidad de tomar una acción frente a no hacer nada. Ahora, los ingenieros intentan enseñar a las computadoras a tomar estas mismas decisiones. El desafío no es solo escribir un programa de computadora que siga un conjunto de reglas rígidas, sino enseñar a una máquina a comprender los valores humanos, que suelen ser desordenados, inconsistentes y profundamente emocionales.
Un equipo de investigadores de la Universidad de Stony Brook se propuso probar si una máquina podía aprender estos complejos valores humanos directamente de las personas, en lugar de ser programada con un conjunto de instrucciones fijas. Construyeron un sistema que llaman "Ethical Decision Head" (Cabeza de Decisión Ética), una capa especializada de software diseñada para intervenir cuando un coche autónomo enfrenta un choque inminente. En estos momentos de fracciones de segundo, el coche debe decidir si sigue su curso, si gira a la izquierda o si gira a la derecha. Los investigadores querían ver si podían entrenar este sistema utilizando un método llamado aprendizaje por refuerzo a partir de la retroalimentación humana. En lugar de decirle a la computadora exactamente qué hacer, le mostraron 200 escenarios de choques y pidieron a dos voluntarios humanos que eligieran el mejor resultado entre dos opciones. La computadora aprendió entonces a imitar estas elecciones humanas, con la esperanza de interiorizar la lógica moral detrás de ellas.
Para probar esta idea, los investigadores crearon dos conjuntos diferentes de reglas para que la computadora las siguiera. El primero se basaba en el utilitarismo, una filosofía que dice que la acción correcta es la que salva la mayor cantidad de vidas en total. El segundo se basaba en las ideas de Immanuel Kant, un filósofo que argumentaba que algunas acciones son incorrectas sin importar el resultado, como usar a una persona como una herramienta para salvar a otros. Los investigadores entrenaron su sistema para aprender ambos enfoques. Cuando probaron el sistema con las reglas kantianas, funcionó perfectamente. La computadora aprendió rápidamente que el único movimiento correcto era nunca girar hacia un peatón, sin importar qué, y se mantuvo fiel a esta regla sin falta. Este éxito demostró que el sistema de entrenamiento en sí funcionaba correctamente y que la computadora era capaz de aprender una regla moral estricta.
Sin embargo, cuando los investigadores cambiaron a las reglas utilitaristas, los resultados fueron sorprendentemente diferentes. Esperaban que la computadora aprendiera a minimizar el número total de lesiones realizando la elección matemáticamente correcta en cada escenario. En cambio, la computadora aprendió algo completamente distinto. Después de analizar 200 diferentes escenarios de choques, el sistema falló al elegir la opción de salvar vidas en casi la mitad de los casos. En lugar de minimizar las víctimas, comenzó a favorecer un patrón de comportamiento donde se sacrificaba a sí misma o a los pasajeros para evitar golpear activamente a un peatón. Esto sucedió porque los voluntarios humanos que proporcionaron la retroalimentación no eligieron la opción de salvar vidas tan a menudo como las reglas de los filósofos sugerían que deberían hacerlo. Las personas tendieron a preferir que el coche no hiciera nada o se sacrificara a sí mismo, incluso si eso significaba que más personas resultarían heridas en total. Parecían sentir que dirigir el vehículo activamente hacia una persona era peor que dejar que ocurriera una tragedia por accidente, una tendencia psicológica conocida como sesgo de omisión.
El estudio reveló una profunda brecha entre lo que la gente dice creer en teoría y lo que realmente premia en la práctica. Cuando los investigadores eliminaron la retroalimentación humana y entrenaron a la computadora únicamente con el objetivo matemático estricto de salvar vidas, esta se volvió instantáneamente muy precisa, eligiendo correctamente la ruta de salvamento de vidas en más del 90 por ciento de los casos. Esto demostró que la computadora era capaz de aprender la filosofía utilitarista, pero que la retroalimentación humana la había desviado de ese objetivo. La máquina no falló al aprender ética; aprendió la ética humana exactamente como los humanos la practican, con todas sus contradicciones y sesgos emocionales. Los investigadores descubrieron que cuando intentamos enseñar a una máquina a ser moral pidiendo a las personas lo que prefieren, podríamos terminar enseñándole a ser inconsistente, priorizando nuestros sentimientos sobre el resultado real.
Este descubrimiento sugiere que simplemente preguntar a la gente lo que quiere podría no ser suficiente para construir un coche autónomo verdaderamente ético. Si el objetivo es crear un sistema que salve consistentemente la mayor cantidad de vidas, confiar en la retroalimentación humana podría hacer que el coche sea menos seguro, porque los humanos suelen preferir acciones que se sienten bien en el momento pero que conducen a resultados peores en general. El estudio no pretende haber resuelto el problema de cómo programar la moralidad en las máquinas, pero sí muestra que el camino es mucho más complicado que simplemente copiar las elecciones humanas. Resalta una tensión fundamental: los valores que sostenemos en nuestras cabezas cuando pensamos sobre la ética no siempre son los mismos que las elecciones que tomamos cuando se nos pide juzgar una situación real. A medida que avanzamos hacia un futuro donde las máquinas toman decisiones de vida o muerte, es posible que debamos decidir si queremos que sigan nuestros imperfectos instintos humanos o un conjunto de principios más estrictos y consistentes.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.