The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI

1. Problema e Contexto

O artigo aborda a incerteza fundamental sobre o impacto de longo prazo da Inteligência Artificial (IA) na humanidade, especificamente focando na chegada da Inteligência Artificial Transformadora (TAI). A TAI é definida como um sistema capaz de superar os humanos em todas as tarefas economicamente valiosas, levando à automação total do trabalho humano.

O dilema central é o trade-off entre dois extremos:

• Cornucópia (Abundância): Um cenário de crescimento econômico explosivo e pós-escassez, impulsionado por uma TAI alinhada e benevolente.
• Doom (Apocalipse): Um cenário de extinção humana ou desempoderamento permanente devido a uma TAI desalinhada (misaligned) que assume o controle de processos decisórios críticos.

O problema de pesquisa é quantificar quanto risco existencial uma sociedade benevolente estaria disposta a tolerar em troca de um crescimento econômico acelerado e quanto estaria disposta a pagar para evitar esse risco.

2. Metodologia

Os autores desenvolvem um modelo teórico de bem-estar social que integra crescimento econômico endógeno com riscos existenciais.

• Estrutura do Modelo (Hardware-Software): Utilizam um framework onde a produção depende de hardware (capital físico e computação) e software (trabalho cognitivo humano e digital). A TAI permite a substituição completa do trabalho cognitivo humano pelo software digital, escalável através da acumulação de compute (seguindo a Lei de Moore), levando a um crescimento endógeno proporcional à taxa de acumulação de capital computacional.

• Taxonomia de Cenários: O futuro é modelado como uma árvore de decisão com quatro probabilidades principais:

  1. $p_1$: Chegada da TAI.
  2. $p_2$: Ocorrer de uma "tomada de controle" (AI takeover), onde a TAI assume a tomada de decisão.
  3. $p_3$: Falha de alinhamento imediato (a TAI tem objetivos incompatíveis com o bem-estar humano).
  4. $p_4$: Falha de corrigibilidade (a TAI é inicialmente alinhada, mas não consegue ajustar seus objetivos a novas informações, levando a riscos cumulativos).
  • A probabilidade total de "Doom" é dada por: $p(\text{doom}) = p_1 p_2 p_3 + p_1 p_2 (1 - p_3) p_4$.

• Função de Bem-Estar Social: O modelo maximiza a utilidade social descontada, incorporando o risco de extinção. A função de utilidade segue uma forma CRRA (aversão relativa ao risco constante):
  $$U = \int_0^\infty e^{-\rho t} M(t) \frac{C(t)^{1-\theta} - 1}{1-\theta} dt$$
  Onde:

  • $C(t)$ é o consumo.
  • $\rho$ é a taxa de preferência temporal (desconto).
  • $\theta$ é o coeficiente de aversão ao risco.
  • $M(t)$ é a probabilidade de sobrevivência da humanidade até o tempo $t$.

• Cenários de Falha (Failure Modes): O modelo simula cinco modos de falha:

  1. TAI não se importa com humanos (ex: maximizador de clipes de papel).
  2. Proxy muito estreito (ignora variáveis críticas para a sobrevivência).
  3. Proxy muito amplo (inclui variáveis letais).
  4. Efeitos colaterais cumulativos do crescimento (risco existencial crescente com o consumo).
  5. A TAI para de funcionar (dependência total da tecnologia).

3. Contribuições Principais

• Quantificação Normativa: Diferente de discussões qualitativas, o artigo fornece uma avaliação quantitativa rigorosa do valor social de reduzir o risco de extinção versus os ganhos de crescimento.
• Análise de Corrigibilidade: Introduz a distinção crucial entre alinhamento inicial e corrigibilidade (capacidade de ajustar objetivos), mostrando que mesmo uma TAI inicialmente "boa" pode levar ao doom se não for corrigível.
• Cálculo de Disposição a Pagar (WTP): Calcula a "Variação Equivalente" (Equivalent Variation - EV), ou seja, a fração do consumo anual que a humanidade estaria disposta a sacrificar para garantir um futuro sem risco de extinção.
• Sensibilidade à Aversão ao Risco: Demonstra como a escolha do parâmetro de aversão ao risco ($\theta$) altera drasticamente a conclusão sobre a viabilidade do desenvolvimento da TAI.

4. Resultados Chave

• Tolerância Extremamente Baixa ao Risco: Para valores realistas de aversão ao risco ($\theta > 1$, onde a utilidade marginal do consumo diminui e a utilidade total é limitada), um planejador social benevolente não toleraria quase nenhum risco de extinção.
  • Com $\theta = 1.5$ e crescimento de 30% ao ano, o risco de extinção imediata tolerável é inferior a 0,28%.
  • Se o risco de extinção for certo, o planejador só aceitaria desenvolver a TAI se a extinção ocorresse apenas após cerca de 196 anos a partir da tomada de controle.
• Disposição a Pagar (WTP) Massiva:
  • Mesmo em cenários conservadores ($\theta = 1$, utilidade logarítmica ilimitada), a sociedade estaria disposta a sacrificar uma fração enorme do consumo anual para evitar o risco.
  • Para evitar uma extinção certa em 100 anos, o WTP é de 92% do consumo anual.
  • Para evitar um risco imediato de 10% de extinção, o WTP é de 87,5% do consumo anual.
  • Mesmo para riscos muito baixos (como as estimativas otimistas de Yann LeCun, ~0,01%), o planejador estaria disposto a pagar pelo menos 10% do consumo anual para mitigá-los.
• Investimento Atual Insuficiente: O artigo compara esses resultados com a realidade atual. O gasto global em segurança e alinhamento de IA é insignificante (estimado em menos de 1% das publicações e bilhões em comparação com trilhões em capacidades de IA). O modelo sugere que o subinvestimento atual é colossal e coloca a humanidade em risco excessivo.
• Crescimento vs. Risco: O ganho de crescimento econômico (mesmo de 30% ao ano) não compensa o risco de extinção quando a aversão ao risco é realista ($\theta > 1$). A utilidade de um futuro infinito é infinitamente mais valiosa do que qualquer ganho de consumo finito se a probabilidade de extinção for não nula.

5. Significado e Implicações

O artigo conclui que, sob uma perspectiva econômica normativa padrão:

1. Prioridade Absoluta: A segurança e o alinhamento da IA não são apenas uma questão técnica, mas uma prioridade econômica imperativa. O custo de evitar o "Doom" é infinitamente maior do que o custo de não desenvolver a tecnologia mais rapidamente.
2. Urgência: Dado que o alinhamento é um problema difícil e que não há margem para erro (o primeiro teste crítico deve ser bem-sucedido), os esforços atuais são drasticamente insuficientes.
3. Política Pública: Há uma justificativa econômica robusta para um aumento massivo e imediato no financiamento de pesquisa em segurança de IA, alinhamento e governança, independentemente das estimativas de probabilidade de "Doom" (desde que não sejam zero).
4. Risco de Subinvestimento: A dinâmica de mercado atual, focada em capacidades e velocidade de desenvolvimento, ignora os custos existenciais externos, levando a um equilíbrio de Nash subótimo onde o risco existencial é excessivo.

Em suma, o papel demonstra que, economicamente, o risco de extinção não pode ser "comprado" com crescimento econômico acelerado, e a sociedade deve estar disposta a sacrificar uma parte substancial de seu consumo presente para garantir a sobrevivência de longo prazo.