Empirically Derived AI Harm Profiles and the Case for Context-Sensitive Moral Responsibility

La inteligencia artificial ya no es una promesa distante; es una realidad cotidiana que toma decisiones que afectan nuestra seguridad, nuestros empleos, nuestra privacidad y nuestro acceso a los servicios. Cuando estos sistemas funcionan, agilizan nuestras vidas. Cuando fallan, las consecuencias pueden ser graves, desde lesiones físicas hasta la denegación de derechos civiles. Durante años, los expertos han intentado gobernar estas tecnologías utilizando principios éticos amplios como la equidad, la transparencia y la seguridad. Sin embargo, estas ideas de alto nivel a menudo luchan por traducirse en reglas prácticas para las formas desordenadas y variadas en que la IA se utiliza realmente en el mundo real. Un desafío clave ha sido comprender cómo diferentes tipos de IA fallan en situaciones específicas. ¿Es un coche autónomo que choca el mismo tipo de problema que un chatbot que difunde desinformación, o un sistema de reconocimiento facial que identifica erróneamente a un sospechoso? Para responder a esto, los investigadores han comenzado a observar los fallos documentados no como accidentes aislados, sino como puntos de datos que podrían revelar patrones más profundos.

Un equipo de investigadores de la Universidad de los Cumberlands se propuso encontrar esos patrones examinando una vasta colección de incidentes de IA del mundo real. Recopilaron 849 casos documentados de fallos de IA de una base de datos pública conocida como el Repositorio AIAAIC, que rastrea incidentes que involucran inteligencia artificial, algoritmos y automatización. En lugar de tratar cada evento como una historia única, los investigadores analizaron cómo estos fallos se agrupaban según qué era la tecnología, dónde se utilizaba, qué se suponía que debía hacer y qué tipo de daño causaba. Su objetivo era ver si el caos de los accidentes individuales podía organizarse en unas pocas categorías distintas, o "perfiles de daño", que ayudarían a los reguladores y a las empresas a construir reglas de supervisión mejores y más específicas.

El análisis reveló que los fallos de la IA no son aleatorios. Tienden a agruparse en torno a dos temas estructurales principales. El primero distingue entre sistemas que interactúan directamente con el mundo físico y aquellos que procesan información principalmente. El segundo tema separa los sistemas diseñados para identificar y monitorear personas de aquellos diseñados para generar contenido. Al mapear estas relaciones, los investigadores identificaron tres perfiles de daño claros y recurrentes que surgen cuando las cosas salen mal.

El primer perfil es lo que los investigadores llaman IA Autónoma o Corpórea. Estos son sistemas que tienen una presencia física y pueden causar daño físico directo, como vehículos autónomos o robots. En los datos, estos fallos ocurrieron casi siempre en el sector del transporte. Cuando estos sistemas fallan, el resultado es típicamente un fallo de seguridad: un coche choca, un robot falla o un operador humano pierde el control. Los riesgos aquí son inmediatos y físicos, afectando la seguridad de pasajeros, peatones y respondedores de emergencia. Debido a que las consecuencias son tangibles y peligrosas, los investigadores sugieren que la gobernanza para este grupo debe centrarse fuertemente en la seguridad operativa, pruebas rigurosas de hardware y sensores, y reglas claras sobre quién es responsable cuando ocurre un accidente físico.

El segundo perfil es el Reconocimiento de Visión. Esta categoría incluye sistemas que utilizan cámaras y software para identificar personas, como la tecnología de reconocimiento facial utilizada por agencias de seguridad o de la ley. Los datos mostraron que los fallos en esta área están concentrados en los sectores de la justicia y el cumplimiento de la ley. A diferencia de los choques físicos del primer grupo, los daños aquí están profundamente ligados a los derechos civiles y la discriminación. Los problemas más comunes involucran que el sistema identifique erróneamente a las personas, particularmente a grupos demográficos específicos, o el uso de la vigilancia de maneras que exceden los límites legales. Los investigadores encontraron que estos fallos crean un tipo de riesgo diferente: una amenaza a la privacidad, la equidad y el derecho a estar libre de acusaciones erróneas. La gobernanza para este perfil, por lo tanto, debe centrarse en prevenir el sesgo, asegurar la transparencia en cómo se utilizan los sistemas y proporcionar caminos claros para que las personas impugnen identificaciones incorrectas.

El tercer perfil es la IA Generativa. Esta es la tecnología detrás de las herramientas que crean texto, imágenes y otros medios. Los datos mostতম que los fallos aquí son más comunes en los sectores de los medios y la información. Los daños asociados con este grupo son distintos de los otros; rara vez involucran lesiones físicas o vigilancia directa. En su lugar, los problemas giran en torno a la calidad y la veracidad de la información. Los fallos incluyen la creación de contenido convincente pero falso, la suplantación de identidad de personas reales y la difusión de desinformación que puede dañar reputaciones o manipular la opinión pública. Debido a que el riesgo es para la integridad de la información en lugar de la seguridad física o la vigilancia inmediata, los investigadores argumentan que la supervisión para este grupo debería centrarse en verificar la fuente del contenido, monitorear la salida de contenidos engañosos y asegurar que los creadores y las plataformas sean responsables de lo que sus sistemas producen.

Curiosamente, los investigadores encontraron que un tipo común de capacidad de la IA, el monitoreo predictivo, no formó su propio grupo separado. El monitoreo predictivo se refiere a sistemas que analizan datos para pronosticar eventos futuros, como predecir crímenes, impagos de préstamos o resultados de salud. El estudio mostró que estos sistemas no se agruparon porque sus riesgos dependen enteramente de dónde se utilicen. Un sistema predictivo utilizado en la atención médica enfrenta desafíos éticos diferentes a uno utilizado en la contratación o las finanzas. Este hallazgo sugiere que el monitoreo predictivo no es una categoría de riesgo única, sino una herramienta que adquiere el carácter del entorno en el que entra. Si un sistema predictivo se utiliza en un contexto de aplicación de la ley, hereda los riesgos del perfil de Reconocimiento de Visión; si se utiliza en finanzas, hereda los riesgos económicos de otros perfiles. Esto significa que las reglas para estos sistemas no pueden ser de talla única; deben adaptarse al contexto específico en el que se realiza la predicción.

Los investigadores proponen una nueva forma de gobernar la IA basada en estos hallazgos. En lugar de aplicar las mismas reglas generales a toda la inteligencia artificial, sugieren que los reguladores y las empresas deben primero identificar en qué perfil de daño encaja un sistema. Una vez que un sistema es categorizado, se pueden aplicar las reglas específicas para el monitoreo, la auditoría y la asignación de responsabilidad. Por ejemplo, un coche autónomo estaría sujeto a auditorías de seguridad estrictas y requisitos de reporte inmediato para incidentes físicos cercanos. Un sistema de reconocimiento facial tendría que someterse a controles regulares de sesgo racial y proporcionar vías claras para que los ciudadanos apelen identificaciones erróneas. Una plataforma de IA generativa necesitaría demostrar la autenticidad de su contenido y tener mecanismos para eliminar rápidamente la desinformación dañina.

Este enfoque mueve la gobernanza de la IA de los principios abstractos a las acciones concretas. Reconoce que un fallo en un robot es fundamentalmente diferente a un fallo en un chatbot, y que las personas responsables de arreglarlos también deben ser diferentes. Al observar la historia real de cómo ha fallado la IA, los investigadores han proporcionado un mapa para construir un sistema de supervisión más efectivo y sensible al contexto. Argumentan que este método permite a la sociedad abordar los peligros específicos de cada tipo de tecnología sin perderse en generalidades, asegurando que las reglas que creamos sean tan prácticas y precisas como la propia tecnología. El estudio concluye que, al tratar los incidentes documentados como un recurso en lugar de solo un registro de errores pasados, podemos construir un futuro donde la IA sea gobernada por una comprensión de su impacto en el mundo real, haciendo que la tecnología sea más segura y responsable para todos.