💻 computer science

A Closer Look at the Existing Risks of Generative AI: Mapping the Who, What, and How of Real-World Incidents

Este artículo presenta una nueva taxonomía para las fallas de la IA generativa mediante el análisis sistemático de 499 incidentes del mundo real, revelando que la mayoría de los daños provienen de problemas relacionados con el uso que afectan a partes interesadas más allá de los usuarios finales, distinguiendo así el panorama de riesgos de la IA generativa del de la IA tradicional y abogando por estrategias de mitigación no técnicas como la divulgación pública, la educación y la regulación.

Autores originales: Megan Li, Wendy Bickersteth, Ningjing Tang, Jason Hong, Lorrie Cranor, Hong Shen, Hoda Heidari

Publicado 2026-04-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Megan Li, Wendy Bickersteth, Ningjing Tang, Jason Hong, Lorrie Cranor, Hong Shen, Hoda Heidari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagine la IA Generativa como una fábrica sobrealimentada e hipercreativa que puede producir instantáneamente texto, imágenes, audio y videos. Es como una imprenta mágica que nunca duerme. Pero, al igual que cualquier fábrica poderosa, no solo produce bienes; también produce "accidentes" y "desastres".

Este documento es esencialmente una investigación forense de 499 accidentes del mundo real causados por esta fábrica. Los investigadores (de la Universidad Carnegie Mellon) no solo adivinaron qué podría salir mal; examinaron una pila masiva de informes policiales, noticias y quejas públicas para mapear exactamente qué sucedió, quién resultó herido y por qué.

Aquí está el desglose de sus hallazgos en términos sencillos:

1. La Gran Sorpresa: El Problema del "Espectador"

En la mayoría de las historias de seguridad, asumimos que la persona que resulta herida es quien utiliza la herramienta. Si conduces un coche imprudentemente, tú eres quien se estrella.

Pero con la IA Generativa, los investigadores descubrieron que a menudo ocurre lo contrario.

La Analogía: Imagina que estás en una fiesta. Decides usar un pincel mágico para dibujar un cuadro divertido de tu amigo. Tú (el usuario) piensas que es hilarante. Pero la persona en el cuadro (el espectador) ahora está siendo ridiculizada por todo el pueblo, o su reputación está arruinada.
El Hallazgo: El estudio encontró que la mayoría del daño no le ocurrió a la persona que usaba la IA. Ocurrió a personas que no tenían nada que ver con ello: extraños, comunidades o la sociedad en general. Los "usuarios" a menudo obtuvieron los beneficios (diversión, productividad), mientras que los "no usuarios" recibieron los moretones (estafas, robo de identidad, confusión).

2. Los Dos Principales Culpables: "El Fallo" vs. "El Villano"

Los investigadores categorizaron las razones por las que ocurrieron estos accidentes en dos grupos principales:

El Fallo (Fallas Técnicas): A veces la IA simplemente se equivoca. Alucina (inventa hechos), se confunde o falla al seguir las reglas.
- ¿Quién resulta herido? Generalmente la persona que usa la IA. Por ejemplo, un abogado usa la IA para redactar un escrito judicial, la IA inventa un caso falso y el abogado se mete en problemas.
El Villano (Uso Malicioso): Esta fue la mayor sorpresa. La causa más común de daño no fue que la IA estuviera rota; fue que personas utilizaron una IA funcional para hacer cosas malas a propósito.
- ¿Quién resulta herido? Casi siempre los espectadores.
- Ejemplos: Alguien que usa la IA para crear un video falso de deepfake de un político para provocar un motín, o crear imágenes falsas de desnudos de un compañero de clase para acosarlo. La IA funcionó exactamente como estaba diseñada; el humano detrás de ella fue el problema.

3. El Mapa del "Quién, Qué y Cómo"

El documento construyó un nuevo mapa (una taxonomía) para organizar estos incidentes:

Qué sucedió (El Daño): Los tipos de daño más comunes fueron a la Autonomía de las personas (ser engañadas o suplantadas), a la Política/Economía (noticias falsas influyendo en elecciones o mercados) y a la Reputación (difamación).
Cómo sucedió (El Modo de Fallo): La causa más frecuente fue el Uso Malicioso (actores malintencionados intencionales). La segunda más común fue el Uso No Revelado (usar IA cuando se supone que debes hacer trabajo humano, como un estudiante haciendo trampa o una revista inundada de spam generado por IA).
Quién resultó herido: Como se mencionó, las personas "no interactivas" (el público, víctimas de deepfakes) soportaron la mayor parte del daño.

4. Por Qué las Reglas Actuales No Funcionan

El documento argumenta que nuestra forma actual de pensar sobre la seguridad está rota porque asume que la única persona que necesita protección es quien utiliza la herramienta.

La Analogía: Es como tener un manual de seguridad para un martillo que solo te dice cómo no golpearte el propio pulgar, pero no dice nada sobre no golpear a tu vecino con él.
La Realidad: Dado que las personas que usan la IA a menudo no sufren las consecuencias (lo hace la víctima), no tienen motivación para tener cuidado. El "beneficio" va al usuario, pero el "riesgo" va al extraño.

5. ¿Qué Deberíamos Hacer?

Los autores sugieren tres cosas principales para arreglar este desastre, centrándose en las personas y las reglas en lugar de solo en un código mejor:

Enseñar a las Personas (Alfabetización en IA): Necesitamos enseñar al público en general cómo funciona esta "fábrica". Si las personas entienden que la IA puede mentir (alucinar) o ser utilizada para estafas, no confiarán ciegamente en ella. Esto detiene algunos "accidentes" causados por la ignorancia.
Regular el Salvaje Oeste del "Código Abierto": El documento señala que muchas de las peores herramientas (como aplicaciones que crean imágenes falsas de desnudos) se construyen sobre modelos de "código abierto" que cualquiera puede descargar y modificar. Las reglas actuales permiten que estas herramientas existan con pocas restricciones. Los autores sugieren que necesitamos reglas más estrictas aquí para evitar que los "villanos" construyan sus armas.
Rastrear la "Pista de Papel" (Procedencia): Necesitamos mejores formas de distinguir qué es real y qué es IA. Si podemos etiquetar el contenido generado por IA (como una etiqueta de "Hecho por IA") y detectar falsificaciones, será más difícil para los estafadores difundir mentiras o para que los deepfakes arruinen reputaciones.

La Conclusión

La IA Generativa no es solo una herramienta que se rompe ocasionalmente; es una herramienta que es frecuentemente armada por humanos para lastimar a personas que ni siquiera lo pidieron. La solución no es solo hacer la IA "más inteligente"; se trata de cambiar cómo la regulamos, enseñar al público a detectar los trucos y darnos cuenta de que las personas que usan la tecnología no son las únicas que necesitan protección.

Aquí se presenta un resumen técnico detallado del artículo "Un análisis más profundo de los riesgos existentes de la IA generativa: Mapeo del quién, qué y cómo de incidentes del mundo real".

1. Declaración del Problema

Aunque se presta una atención significativa a los riesgos existenciales de la Inteligencia Artificial (IA), existe una brecha crítica en la comprensión de los riesgos existentes —aquellos ya observados en el mundo real que causan daño a individuos, comunidades y la sociedad.

La Brecha: Las taxonomías de riesgos existentes a menudo carecen de fundamentación en evidencia empírica, no logran especificar quién se ve afectado, cómo surge el daño (el modo de fallo) y la relación específica entre los fallos técnicos y los impactos sociales posteriores.
El Desafío Específico: La IA Generativa (GenAI) difiere de la IA tradicional en su naturaleza de propósito general y sus modalidades de salida (texto, imagen, audio, video). Los marcos actuales no capturan adecuadamente el paisaje único de los fallos de la GenAI, particularmente la desconexión entre los usuarios que se benefician de la tecnología y los terceros que sufren los daños.
Objetivo: Construir una taxonomía basada en datos de fallos y daños de la GenAI, mapeando el "Quién" (partes interesadas), el "Qué" (tipos de daño) y el "Cómo" (modos de fallo sociotécnicos) basándose en incidentes del mundo real.

2. Metodología

Los autores realizaron un análisis empírico sistemático de 499 incidentes de IA Generativa reportados públicamente.

Fuentes de Datos: El conjunto de datos fue curado a partir de dos repositorios principales: la Base de Datos de Incidentes de IA (AIID) y los Incidentes y Controversias de IA, Algorítmicos y de Automatización (AIAAIC). El Monitor de Incidentes de IA de la OCDE fue excluido debido a su curación automatizada y su definición más amplia de "incidente".
Criterios de Selección: Solo se incluyeron incidentes donde un sistema de IA Generativa fue la causa principal del evento.
Marco de Codificación: Cada incidente se trató como un estudio de caso y se codificó según cuatro atributos:
1. Modalidad: Tipo de salida (texto, imagen, audio, video, multimodal).
2. Partes Interesadas Afectadas: Clasificadas en Interactuantes (usuarios finales, desarrolladores) y No Interactuantes (individuos terceros, organizaciones, comunidades, sociedad).
3. Daño: La naturaleza del resultado negativo.
4. Modo de Fallo Sociotécnico: La causa próxima (técnica, humana o sistémica).
Desarrollo de la Taxonomía:
- Daños: Se basó en taxonomías existentes (Weidinger et al., Abercrombie et al.) pero se revisó para incluir una nueva categoría, "Sobrecarga de ecosistemas" (inundación de espacios curados por humanos con contenido de IA). La taxonomía final contiene 41 daños específicos en 12 categorías.
- Modos de Fallo: Se desarrolló una taxonomía novel de 14 modos de fallo organizados en 4 categorías:
  1. Relacionados con el diseño (ej. recopilación de datos problemática).
  2. Relacionados con el desarrollo/evaluación (ej. alucinaciones, falta de robustez).
  3. Relacionados con el lanzamiento (ej. falta de transparencia).
  4. Relacionados con el uso (ej. uso malicioso, uso inadecuado).
Proceso de Análisis: Dos autores codificaron los datos de forma independiente, resolviendo desacuerdos mediante consenso. Analizaron la prevalencia, la co-ocurrencia de modos de fallo y el mapeo entre modos de fallo, daños y partes interesadas.

3. Contribuciones Clave

Taxonomía Empírica de Daños de GenAI: Un mapeo validado y cuantitativo de 41 daños específicos observados en la práctica, yendo más allá de la evaluación teórica de riesgos.
Taxonomía Novel de Modos de Fallo Sociotécnicos: Un marco estructurado que distingue entre fallos relacionados con el diseño, desarrollo, lanzamiento y uso, específicamente adaptado a la GenAI.
El Mapeo "Quién-Qué-Cómo": Un análisis integral que vincula modos de fallo específicos con daños específicos y, crucialmente, identifica la disparidad entre beneficiarios y víctimas.
Diferenciación de la IA Tradicional: Evidencia que demuestra que el paisaje de los daños de la GenAI es distinto al de la IA tradicional, particularmente en lo que respecta a la prevalencia del uso malicioso y el impacto en las partes interesadas no interactuantes.

4. Resultados y Hallazgos Clave

A. ¿Quién sufre el daño? (La Disparidad de las Partes Interesadas)

Las Partes Interesadas No Interactuantes son las Víctimas Principales: La mayoría de los incidentes (aprox. 80%+) causaron daño a partes que no interactuaron directamente con el sistema de IA (ej. individuos objetivo de deepfakes, organizaciones que reciben spam de IA, la sociedad que enfrenta desinformación).
Las Partes Interactuantes Rara vez Sufren Daño: Los usuarios finales y desarrolladores raramente sufren las consecuencias directas de los daños que generan.
Ruptura de la Responsabilidad: Esto crea una desalineación donde quienes cosechan los beneficios (usuarios/desarrolladores) asumen poco riesgo, mientras que quienes soportan los riesgos (sociedad/terceros) no tienen recurso directo.

B. ¿Qué daños ocurren? (Prevalencia)

Categorías de Daño Principales:
1. Pérdida de Autonomía/Agencia (n=178): A menudo vinculada a la suplantación de identidad y el robo de identidad.
2. Político y Económico (n=106): Vinculado a la manipulación y la inestabilidad.
3. Informativo (n=84): Contaminación del ecosistema informativo.
Daños Específicos de Alta Frecuencia: Suplantación de identidad/robo de identidad (n=108), Manipulación política (n=95) y Pérdida de confianza/credibilidad (n=58).

C. ¿Cómo surgen los daños? (Modos de Fallo)

Los Fallos Relacionados con el Uso Dominan: Los modos de fallo relacionados con el uso representan la gran mayoría de los incidentes (n=301), superando significativamente a los fallos de diseño o desarrollo.
El Uso Malicioso es el Impulsor Principal: El uso malicioso (n=198) es el único modo de fallo más prevalente, impulsando daños relacionados con la autonomía, la manipulación política, la angustia psicológica y el fraude financiero.
Alucinaciones: Aunque menos frecuentes que el uso malicioso en general, las alucinaciones (n=56) son el modo de fallo principal que afecta a las partes interesadas interactuantes (ej. usuarios que confían en consejos legales falsos).

D. Correlaciones y Modalidades

Emparejamiento Fallo-Daño:
- Uso Malicioso $\rightarrow$ Daños de Autonomía, Políticos, Psicológicos y Financieros (a menudo mediante deepfakes).
- Alucinación $\rightarrow$ Daños a Derechos Humanos/Libertades Civiles (ej. evidencia falsa en tribunales).
- Recopilación de Datos Problemática $\rightarrow$ Daños de Privacidad y Seguridad.
Impacto de la Modalidad: Los sistemas basados en texto están más asociados con alucinaciones. Los sistemas de imagen, video y audio están abrumadoramente asociados con el Uso Malicioso (ej. pornografía de deepfake no consensuada, estafas de voz).
Modelos de Código Abierto: El estudio corrobora que las herramientas que permiten imágenes íntimas no consensuadas (AIG-NCII) se construyen predominantemente sobre modelos de código abierto (ej. Stable Diffusion), destacando una brecha regulatoria.

5. Significado y Recomendaciones

Significado

El artículo desafía la narrativa predominante de que los riesgos de la IA son principalmente técnicos o orientados al futuro. Demuestra que los riesgos actuales de la GenAI son en gran medida sociotécnicos, impulsados por la intención humana (uso malicioso) y fallos de diseño sistémicos (recopilación de datos), y que la carga de estos riesgos recae desproporcionadamente en terceros inocentes. Esto desplaza el enfoque de la "seguridad del modelo" puramente a la "seguridad del ecosistema".

Recomendaciones

Priorizar a las Partes Interesadas No Interactuantes: La política y la gobernanza deben cambiar el enfoque para proteger a los terceros que no interactúan con el sistema pero sufren sus consecuencias.
Educación Pública y Alfabetización en IA: Dado que el "Uso Inadecuado" es un modo de fallo importante, el público necesita una mejor educación sobre las capacidades y limitaciones de la GenAI (ej. comprender las alucinaciones) para reducir el daño accidental.
Postura Regulatoria sobre Código Abierto: El entorno regulatorio actual (ej. Ley de IA de la UE) incentiva el desarrollo de código abierto pero no logra mitigar los riesgos específicos de mal uso (como AIG-NCII). Los autores piden una regulación basada en evidencia que equilibre la innovación con la prevención de herramientas abusivas.
Procedencia y Detección: La implementación del seguimiento de datos y la detección de contenido sintético es necesaria para mitigar daños como la desinformación y el fraude por deepfake, aunque estas medidas deben ir acompañadas de medidas más amplias de responsabilidad.
Cambio de Mitigación Técnica a No Técnica: Los autores argumentan que las soluciones técnicas (guardarraíles) son insuficientes. La mitigación efectiva requiere divulgaciones públicas, educación y posturas regulatorias cuidadosas para abordar las capas humana y sistémica del problema.