From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

Imagina que tienes una caja de herramientas. Dentro, hay herramientas eléctricas como taladros y sierras. Normalmente, pensamos en estas herramientas como neutrales; un taladro puede construir una casa o derribar una puerta, dependiendo de quién lo sostenga y cómo lo use.

Este artículo sostiene que, con la Inteligencia Artificial (IA), el propio "taladro" está siendo construido con un diseño específico que hace que sea mucho más fácil derribar puertas y más difícil detenerlo, independientemente de quién lo sostenga. Los autores, investigadores de Harvard y Oxford, analizaron seis diferentes sistemas de IA utilizados en países que van desde Estados Unidos y el Reino Unido hasta China y Rusia. Querían ver si estas herramientas eran peligrosas solo en países "malos" (autocracias) o si podían convertir a un país "bueno" (democracia) en un lugar donde la gente sea vigilada y controlada también.

Aquí está el desglose de sus hallazgos utilizando analogías sencillas:

1. El descubrimiento central: No se trata solo de los "malos"

La mayor sorpresa del artículo es que el autoritarismo (la práctica de controlar a las personas mediante el miedo y la vigilancia) no es solo una característica de las dictaduras "malvadas".

Piénselo como un coche que conduce a exceso de velocidad. Podría pensar que solo un conductor imprudente en un barrio peligroso corre demasiado. Pero este artículo muestra que incluso un conductor cuidadoso en un suburbio rico y seguro puede terminar excediendo el límite de velocidad si el control de crucero del coche se configura demasiado alto, los frenos son débiles y se ignoran las señales de límite de velocidad. El diseño del coche (el sistema de IA) importa tanto como el conductor (el gobierno).

Los autores encontraron que los mismos "rasgos peligrosos" aparecen tanto en democracias (como EE. UU. y el Reino Unido) como en autocracias (como China y Rusia).

2. Las seis "zonas de peligro" (Cómo la IA permite el control)

Los investigadores identificaron seis formas en las que estos sistemas de IA actúan como un "kit de herramientas de control". Así es como funcionan, con analogías:

• Capacidad Coercitiva (El Gran Garrote):
  • Qué es: La capacidad de usar la fuerza o la amenaza de la fuerza fácilmente.
  • La Analogía: Imagine a un guardia de seguridad que puede llamar a un equipo SWAT con solo presionar un botón. En el caso del sistema Lavender (utilizado por el ejército israelí), la IA ayuda a identificar objetivos para ataques aéreos. Debido a que el sistema está integrado con armas y tiene un alto margen de error, reduce el "umbral" para el uso de la fuerza letal. Hace que la violencia sea más fácil de activar.
• Erosión de la Rendición de Cuentas (La Mano Invisible):
  • Qué es: Hacer que sea difícil saber quién es responsable cuando algo sale mal.
  • La Analogía: Imagine un juego de "la papa caliente" donde la papa es un error. Si un oficial de policía en el Reino Unido utiliza una furgoneta de Reconocimiento Facial en Vivo y detiene erróneamente a alguien, el oficial puede decir: "La computadora me dijo que lo hiciera", y la empresa puede decir: "Nosotros solo vendimos el software". Nadie asume la responsabilidad. El sistema está diseñado para que la responsabilidad se pierda en el proceso.
• Salvaguardas Simbólicas (El Cinturón de Seguridad Falso):
  • Qué es: Tener reglas que se ven bien en el papel pero que en realidad no funcionan.
  • La Analogía: Es como un coche que tiene cinturón de seguridad, pero el cierre está roto. El sistema Lavender tiene la regla de que un humano debe verificar el objetivo antes de un ataque. Pero los informes muestran que los humanos pasan solo 20 segundos verificando, lo suficiente para marcar una casilla. La "salvaguarda" existe, pero es una farsa.
• Control de la Información (El Espejo de Una Sola Vía):
  • Qué es: Que el gobierno lo sepa todo sobre usted, mientras que usted no sabe nada de ellos.
  • La Analogía: Imagine una biblioteca gigante donde el bibliotecario puede leer cada libro que ha sacado prestado, cada nota que ha escrito y cada vez que fue al baño, pero usted no puede ver lo que el bibliotecario está escribiendo en su registro. El sistema IJOP en China hace esto al combinar datos policiales con registros médicos, facturas de servicios públicos e incluso datos de ventas de coches de segunda mano para construir un cuadro total de la vida de una persona.
• Represión Anticipatoria (La Bola de Cristal):
  • Qué es: Castigar a las personas antes de que hagan algo malo, solo porque la IA piensa que podrían hacerlo.
  • La Analogía: Imagine a un portero de un club que lo expulsa porque parece "sospechoso" o porque cambió su número de teléfono recientemente, aunque aún no haya roto ninguna regla. El sistema Sfera en Rusia utiliza el reconocimiento facial para arrestar a personas antes de que siquiera planeen una protesta, basándose en la idea de que podrían protestar.
• Control de Fronteras (El Muro de "Nosotros contra Ellos"):
  • Qué es: Crear categorías digitales que tratan a ciertos grupos de personas como menos humanas o menos seguras.
  • La Analogía: Imagine un filtro en una aplicación de fotos que automáticamente desenfoca a personas con un acento o tono de piel específico, etiquetándolas como "riesgosas". El sistema IJOP apunta específicamente a los musulmanes uigures, y el sistema SlimmeCheck en los Países Bajos fue encontrado para señalar a ciudadanos no neerlandeses por fraude de bienestar con mucha más frecuencia que a los locales. La IA aprende a ver a ciertos grupos como "el enemigo".

3. Las dos formas en que el sistema falla: Centralizado vs. Fragmentado

El artículo hace un punto muy importante sobre cómo se organizan estos sistemas.

• Sistemas Centralizados (El Gran Jefe):
  • Ejemplo: El IJOP en China o Sfera en Rusia.
  • Cómo funciona: Una gran autoridad lo controla todo.
  • El Riesgo: Es como una única y masiva presa. Si la presa se rompe, todo el valle se inunda. Debido a que un solo grupo ostenta todo el poder, hay menos personas para decir "Detente".
• Sistemas Fragmentados (El Enjambre):
  • Ejemplo: FlockSafety en EE. UU.
  • Cómo funciona: Este es una red de cámaras de matrícula propiedad de miles de diferentes vecindarios, negocios y departamentos de policía.
  • El Riesgo: Esto es como un enjambre de abejas. No puedes simplemente matar a una abeja para detener al enjambre. Debido a que el sistema está disperso, no hay una sola persona a cargo. Si una asociación de vecinos abusa de la cámara, es difícil regularla porque no hay un "jefe" central al cual despedir. El artículo argumenta que este "enjambre" es en realidad más difícil de controlar que el "Gran Jefe" porque la responsabilidad está tan diluida.

4. El Problema del "Ciclo de Vida"

Los autores dicen que solemos mirar la IA y preguntar: "¿Es la matemática lo suficientemente inteligente?" (El Modelo). Ellos dicen que deberíamos estar preguntando: "¿Cómo fue construido, vendido y usado este instrumento?" (El Ciclo de Vida).

Compararon los sistemas a través de 10 etapas, desde la idea inicial hasta el día de hoy. Encontraron que el peligro no está solo en el producto final; está en las decisiones tomadas en el camino:

• ¿Quién lo compró? (A menudo empresas privadas asociadas con gobiernos).
• ¿Cómo se probó? (A menudo de forma deficiente o no se probó en absoluto).
• ¿Quién vigila a los vigilantes? (A menudo nadie).

5. La Conclusión

El artículo concluye que el autoritarismo habilitado por la IA es una elección de diseño, no un resultado inevitable de la tecnología.

No es que la IA sea "malvada" por naturaleza. Es que los desarrolladores, los gobiernos y los usuarios han tomado decisiones para:

1. Conectar la IA con demasiados datos.
2. Ignorar las reglas que deberían proteger a las personas.
3. Construir sistemas que son difíciles de detener una vez que comienzan.

Los autores advierten que esto no es solo un problema para los "malos" países. Las democracias también están en riesgo, especialmente cuando utilizan estas herramientas para la "eficiencia" o la "seguridad" sin darse cuenta de que están construyendo lentamente una jaula. Instan a los desarrolladores a construir "frenos" en el sistema y a los gobiernos a asegurarse de que los "cinturones de seguridad" realmente funcionen antes de dejar que el coche conduzca.