From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

Imagine que você tem uma caixa de ferramentas. Dentro dela, há ferramentas elétricas como furadeiras e serras. Normalmente, pensamos nessas ferramentas como neutras; uma furadeira pode construir uma casa ou derrubar uma porta, dependendo de quem a segura e de como ela é usada.

Este artigo argumenta que, com a Inteligência Artificial (IA), a própria "furadeira" está sendo construída com um design específico que torna muito mais fácil derrubar portas e mais difícil de parar, independentemente de quem a segura. Os autores, pesquisadores de Harvard e Oxford, analisaram seis diferentes sistemas de IA usados em países que variam dos Estados Unidos e Reino Unido à China e Rússia. Eles queriam ver se essas ferramentas eram perigosas apenas em "países ruins" (autocracias) ou se poderiam transformar um "país bom" (democracia) em um lugar onde as pessoas são vigiadas e controladas também.

Aqui está o detalhamento de suas descobertas usando analogias simples:

1. A Descoberta Central: Não se Trata Apenas dos "Caras Malvados"

A maior surpresa do artigo é que o autoritarismo (a prática de controlar pessoas através do medo e da vigilância) não é apenas uma característica de ditaduras "malignas".

Pense nisso como um carro em alta velocidade. Você pode pensar que apenas um motorista imprudente em um bairro perigoso corre demais. Mas este artigo mostra que mesmo um motorista cuidadoso em um subúrbio rico e seguro pode acabar correndo demais se o controle de cruzeiro do carro estiver configurado muito alto, se os freios forem fracos e se as placas de limite de velocidade forem ignoradas. O design do carro (o sistema de IA) importa tanto quanto o motorista (o governo).

Os autores descobriram que os mesmos "recursos perigosos" aparecem tanto em democracias (como os EUA e o Reino Unido) quanto em autocracias (como China e Rússia).

2. As Seis "Zonas de Perigo" (Como a IA Viabiliza o Controle)

Os pesquisadores identificaram seis maneiras pelas quais esses sistemas de IA atuam como um "kit de ferramentas de controle". Veja como eles funcionam, com analogias:

• Capacidade Coercitiva (O Porrete):
  • O que é: A capacidade de usar a força ou a ameaça de força facilmente.
  • A Analogia: Imagine um segurança que pode chamar uma equipe da SWAT com um único toque de botão. No caso do sistema Lavender (usado pelo exército israelense), a IA ajuda a identificar alvos para ataques aéreos. Como o sistema é integrado a armas e possui uma margem de erro alta, ele reduz o "limiar" para o uso da força letal. Ele torna a violência mais fácil de ser desencadeada.
• Erosão da Responsabilidade (A Mão Invisível):
  • O que é: Tornar difícil saber quem é o responsável quando algo dá errado.
  • A Analogia: Imagine um jogo de "batata quente" onde a batata é um erro. Se um policial no Reino Unido usa uma Van de Reconhecimento Facial ao Vivo e para alguém injustamente, o oficial pode dizer: "O computador me mandou fazer isso", e a empresa pode dizer: "Nós apenas vendemos o software". Ninguém assume a culpa. O sistema é projetado para que a responsabilidade se perca no meio do caminho.
• Salvaguardas Simbólicas (O Cinto de Segurança Falso):
  • O que é: Ter regras que parecem boas no papel, mas que na verdade não funcionam.
  • A Analogia: É como um carro que tem um cinto de segurança, mas a fivela está quebrada. O sistema Lavender tem uma regra de que um humano deve verificar o alvo antes de um ataque. Mas relatórios mostram que os humanos gastam apenas 20 segundos verificando, o suficiente apenas para marcar uma caixa de seleção. A "salvaguarda" existe, mas é uma farsa.
• Controle de Informação (O Espelho de Uma Via):
  • O que é: O governo sabendo tudo sobre você, enquanto você não sabe nada sobre eles.
  • A Analogia: Imagine uma biblioteca gigante onde o bibliotecário pode ler cada livro que você já pegou emprestado, cada nota que você escreveu e cada vez que você visitou o banheiro, mas você não pode ver o que o bibliotecário está escrevendo em seu registro. O sistema IJOP na China faz isso ao combinar dados policiais com registros médicos, contas de serviços públicos e até dados de vendas de carros usados para construir um quadro total da vida de uma pessoa.
• Repressão Antecipatória (A Bola de Cristal):
  • • O que é:* Punir as pessoas antes que elas façam algo errado, apenas porque a IA acha que elas podem vir a fazer.
  • A Analogia: Imagine um segurança de uma boate que te expulsa porque você parece "suspeito" ou porque mudou seu número de telefone recentemente, mesmo que você ainda não tenha quebrado nenhuma regra. O sistema Sfera na Rússia usa reconhecimento facial para prender pessoas antes mesmo de elas planejarem um protesto, baseando-se na ideia de que elas podem protestar.
• Controle de Fronteiras (O Muro do "Nós contra Eles"):
  • O que é: Criar categorias digitais que tratam certos grupos de pessoas como menos humanas ou menos seguras.
  • A Analogia: Imagine um filtro em um aplicativo de fotos que automaticamente desfoca pessoas com um sotaque ou tom de pele específico, rotulando-as como "arriscadas". O sistema IJOP visa especificamente muçulmanos Uyghur, e o sistema SlimmeCheck na Holanda foi encontrado acusando cidadãos não holandeses de fraude em benefícios sociais com muito mais frequência do que os locais. A IA aprende a ver certos grupos como "o inimigo".

3. As Duas Formas como o Sistema Quebra: Centralizado vs. Fragmentado

O artigo faz um ponto muito importante sobre como esses sistemas são organizados.

• Sistemas Centralizados (O Grande Chefe):
  • Exemplo: O IJOP na China ou o Sfera na Rússia.
  • Como funciona: Uma grande autoridade controla tudo.
  • O Risco: É como uma única e massiva represa. Se a represa romper, todo o vale será inundado. Como um único grupo detém todo o poder, há menos pessoas para dizer "Pare".
• Sistemas Fragmentados (O Enxame):
  • Exemplo: FlockSafety nos EUA.
  • Como funciona: Este é uma rede de câmeras de leitura de placas de veículos pertencentes a milhares de diferentes bairros, empresas e departamentos de polícia.
  • O Risco: Isso é como um enxame de abelhas. Você não pode simplesmente matar uma abelha para parar o enxame. Como o sistema é espalhado, não há uma única pessoa no comando. Se uma associação de bairro abusar da câmera, é difícil regulamentar porque não há um "chefe" central para demitir. O artigo argumenta que este "enxame" é, na verdade, mais difícil de controlar do que o "Grande Chefe" porque a responsabilidade é tão diluída.

4. O Problema do "Ciclo de Vida"

Os autores dizem que geralmente olhamos para a IA e perguntamos: "A matemática é inteligente o suficiente?" (O Modelo). Eles dizem que deveríamos estar perguntando: "Como esta ferramenta foi construída, vendida e usada?" (O Ciclo de Vida).

Eles compararam os sistemas através de 10 estágios, desde a ideia inicial até o dia de hoje. Eles descobriram que o perigo não está apenas no produto final; está nas escolhas feitas ao longo do caminho:

• Quem comprou? (Frequentemente empresas privadas fazendo parcerias com governos).
• Como foi testado? (Frequentemente de forma precária ou nem sequer testado).
• Quem está vigiando os vigilantes? (Frequentemente ninguém).

5. A Conclusão

O artigo conclui que o autoritarismo habilitado pela IA é uma escolha de design, não um resultado inevitável da tecnologia.

Não é que a IA seja "má" por natureza. É que desenvolvedores, governos e usuários fizeram escolhas para:

1. Conectar a IA a muitos dados.
2. Ignorar as regras que deveriam proteger as pessoas.
3. Construir sistemas que são difíceis de parar uma vez iniciados.

Os autores alertam que isso não é apenas um problema para "países ruins". As democracias também estão em risco, especialmente quando usam essas ferramentas para "eficiência" ou "segurança" sem perceber que estão lentamente construindo uma gaiola. Eles instam os desenvolvedores a construir "freios" dentro do sistema e os governos a garantir que os "cintos de segurança" realmente funcionem antes de deixar o carro dirigir.