Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

Resumo Técnico: "Estamos Condenados a uma Corrida de IA? Por Que o Interesse Próprio Poderia Impulsionar Países a um Moratória sobre a Superinteligência"

Declaração do Problema
A visão predominante no discurso em torno da Superinteligência Artificial (ASI) é a de que um moratória global sobre seu desenvolvimento é inviável devido a incentivos estratégicos. Críticos argumentam que, mesmo que a contenção mútua seja coletivamente ótima, os estados individuais possuem uma estratégia dominante para desviar e continuar a corrida pela supremacia geopolítica. Essa dinâmica de "corrida para o fundo" sugere que o medo de ficar para trás (o "pagamento do tolo") supera o risco compartilhado de perda catastrófica de controle, tornando um moratória contrário ao interesse próprio de um estado. Este artigo desafia essa premissa, questionando se um moratória pode alguma vez ser uma estratégia racional e baseada no interesse próprio para superpotências geopolíticas.

Metodologia
Os autores empregam uma estrutura formal de teoria dos jogos para modelar a interação estratégica entre duas superpotências geopolíticas (uma "Líder" e uma "Atrasada"). O modelo operacionaliza a decisão de ou "Correr" (continuar o desenvolvimento com medidas de segurança padrão) ou "Pausar" (impor um moratória para maximizar a segurança).

O modelo é definido por quatro variáveis-chave:

1. Lacuna de Capacidade ($\Delta$): A vantagem relativa que um jogador possui no desenvolvimento da ASI, agregando fatores como poder computacional e progresso na pesquisa.
2. Vantagem do Vencedor ($W$): O valor da vantagem do primeiro movimento, variando de 0 (cooperativo) a 1 (o vencedor leva tudo), capturando a subordinação geopolítica do perdedor.
3. Custo da ASI Incontrolada ($C$): A desutilidade decorrente de uma perda de controle, normalizada em relação ao benefício de uma vitória segura (normalizada para 1). Crucialmente, o modelo permite $C > 1$, refletindo cenários onde o colapso civilizatório supera qualquer ganho estratégico.
4. Incerteza Tecnológica ($\sigma$): A incerteza epistêmica quanto à possibilidade e ao cronograma do desenvolvimento da ASI.

A escolha de política é binária: Pausar ($s=1$, segurança máxima) ou Correr ($s=0,85$, representando um risco catastrófico de 15% baseado em pesquisas com especialistas). A análise identifica equilíbrios de Nash mapeando o "Custo Catastrófico" ($C$) contra a "Lacuna de Capacidade" ($\Delta$) para determinar sob quais condições uma pausa se torna a melhor resposta racional para um estado.

Principais Contribuições

1. Formalização do Moratória como Estratégia de Interesse Próprio: Ao contrário de modelos anteriores que frequentemente tratam a corrida como um Dilema do Prisioneiro onde a deserção é dominante, este artigo demonstra que, sob condições específicas de parâmetros, um moratória não é apenas um ideal cooperativo, mas uma estratégia racional impulsionada pelo interesse próprio.
2. Identificação de Quatro Mundos Estratégicos: Variando o custo da catástrofe em relação à lacuna de capacidade e à vantagem do vencedor, os autores delimitam quatro ambientes estratégicos distintos:
   • Harmonia Segura: Ambos os estados consideram racional pausar porque o custo da catástrofe é tão alto que correr não oferece ganho marginal.
   • Preempção: O único resultado estável é uma corrida. O medo da vantagem do primeiro movimento do rival supera o medo da catástrofe, particularmente quando os estados estão próximos da paridade.
   • Confiança: Um jogo de coordenação onde ambos preferem uma pausa mútua, mas temem ser explorados se o rival correr.
   • Subversão: Um mundo assimétrico onde a Líder racionalmente escolhe pausar (devido à alta probabilidade de vitória e medo da catástrofe), enquanto a Atrasada corre para fechar a lacuna.
3. Quantificação de Limiares: O modelo quantifica os "limiares de custo" específicos onde o espaço estratégico muda de correr para pausar. Ele mostra que, à medida que o custo percebido da perda de controle ($C$) aumenta suficientemente em relação à vantagem do vencedor ($W$) e à incerteza ($\sigma$), a estratégia racional se desloca para um moratória.

Resultados
A análise revela que a viabilidade de um moratória não é estática, mas depende da interação das variáveis:

• O Papel do Custo Catastrófico: Quando o custo percebido de uma ASI incontrolada excede os benefícios esperados da supremacia geopolítica, um moratória estável torna-se uma escolha de interesse próprio.
• Impacto da Incerteza: Uma incerteza tecnológica moderada ($\sigma$) expande o espaço estratégico para um moratória. Quando os estados estão incertos sobre a possibilidade de vencer a corrida, o incentivo para cortar cantos diminui, tornando uma pausa mais racional.
• Impacto da Vantagem do Vencedor: Uma redução na vantagem do vencedor ($W$) diminui o limiar para o custo da perda de controle necessário para tornar um moratória racional.
• Trajetória Empírica: O artigo apresenta evidências empíricas sugerindo que a percepção global do risco da ASI está aumentando. Citando declarações de especialistas (por exemplo, a Carta Aberta de 2023, a Declaração de Bletchley), pesquisas de opinião pública (por exemplo, Reuters/Ipsos) e o estabelecimento de Institutos de Segurança de IA, os autores argumentam que o custo percebido da perda de controle ($C$) está aumentando. Essa mudança sugere que as condições necessárias para que um moratória esteja no interesse próprio de um estado estão se tornando mais plausíveis no cenário geopolítico atual.

Significado e Alegações
O artigo alega reverter a premissa de que um moratória é inerentemente contrário ao interesse próprio de um estado. Ele argumenta que a "corrida" não é um resultado inevitável do comportamento racional dos estados, mas um resultado contingente de valores específicos de parâmetros — especificamente, um baixo custo percebido da catástrofe em relação aos benefícios da supremacia.

Os autores concluem modestamente que, embora a realidade geopolítica atual ainda seja dominada por dinâmicas competitivas, o espaço estratégico para um moratória estável e racional está se expandindo. Eles postulam que, à medida que o consenso científico sobre problemas de controle cresce e a severidade percebida de resultados catastróficos aumenta, as condições sob as quais um moratória se torna a estratégia dominante para estados interessados em si mesmos estão "mais próximas do que comumente assumido". O artigo não alega que um moratória é garantido, mas sim que é uma opção viável e racional sob condições em evolução, desafiando a visão fatalista de que uma corrida de IA é inevitável.