AI, Digital Platforms, and the New Systemic Risk

Resumo Técnico: IA, Plataformas Digitais e o Novo Risco Sistêmico

Declaração do Problema
A inteligência artificial (IA) está cada vez mais incorporada em infraestruturas digitais, sociais e institucionais, fundindo-se com plataformas para formar estruturas híbridas. Essa integração deu origem ao "risco sistêmico" — um desafio crítico, mas subteorizado, onde falhas localizadas podem desencadear interrupções estruturais. Embora a legislação europeia recente, especificamente o Ato de IA da UE e o Ato de Serviços Digitais (DSA), invoque o risco sistêmico, o artigo argumenta que esses quadros dependem de caracterizações estreitas, ambíguas ou contraditórias. O Ato de IA, em particular, restringe o risco sistêmico às "capacidades de alto impacto" dos modelos de IA de propósito geral (GPAI) "mais avançados", frequentemente definidos por limiares de computação (por exemplo, $10^{25}$ FLOPs). Essa abordagem corre o risco de negligenciar riscos sistêmicos decorrentes de sistemas menores, profundamente integrados, modelos não de fronteira e danos que não se manifestam estritamente como interrupções de mercado (por exemplo, discriminação em larga escala, alucinações e degradação ambiental). O DSA, embora melhor na identificação de certos riscos, carece de uma definição unificada e falha em contabilizar plenamente a interação entre modelos de IA e arquiteturas de plataformas.

Metodologia
Os autores empregam um quadro analítico multidisciplinar que recorre à finanças, teoria de sistemas complexos e cibersegurança. A metodologia prossegue em quatro etapas distintas:

1. Síntese Histórica e Teórica: O artigo revisa a evolução das definições de risco sistêmico na regulação financeira (pós-crise de 2008) e na teoria de sistemas complexos para identificar condições mínimas comuns às definições centrais.
2. Desenvolvimento do Quadro Conceitual: Com base nas descobertas históricas, os autores formulam um quadro de quatro critérios para especificar riscos sistêmicos impulsionados por IA e plataformas:
   • Escala e Abrangência: A extensão do dano esperado em todo o sistema.
   • Natureza do Dano (Coletivo): O surgimento de danos que excedem a soma dos impactos individuais (falha estrutural).
   • Irreversibilidade: O potencial de danos de longo prazo e não recuperáveis.
   • Complexidade/Imprevisibilidade: A presença de interconectividade que permite efeitos em cascata e não contidos.
3. Taxonomia de Níveis de Risco: Os autores categorizam os riscos sistêmicos em quatro níveis de manifestação:
   • Modelo único: Falhas decorrentes da adoção pervasiva de um único modelo centralizado (efeito monocultura).
   • Múltiplos modelos: Falhas sincronizadas entre múltiplos modelos (comportamento de rebanho).
   • Integração modelo-plataforma: IA incorporada em plataformas de grande escala criando ciclos de retroalimentação (por exemplo, algoritmos de recomendação que amplificam danos).
   • Integração modelo-instituição: IA incorporada em governança, aplicação da lei ou finanças, criando vulnerabilidades estruturais.
4. Análise Legal Comparativa e Teste de Casos: O quadro é aplicado para avaliar o DSA e o Ato de IA. Os autores testam a adequação desses quadros legais contra três exemplos controversos: discriminação em larga escala, alucinações de IA (poluição da informação) e impactos ambientais.

Principais Contribuições

• Uma Definição Rigorosa de Risco Sistêmico: O artigo vai além da abordagem "você sabe quando vê" ao estabelecer um quadro estruturado baseado em escala, dano coletivo, irreversibilidade e complexidade.
• Crítica à Limitação de "Fronteira" do Ato de IA: Os autores demonstram que vincular o risco sistêmico exclusivamente aos modelos "mais avançados" é conceitualmente falho. Eles argumentam que riscos como discriminação e alucinações podem ser sistêmicos independentemente do avanço do modelo, e que limiares baseados em computação falham em capturar riscos de modelos legados ou menores profundamente integrados em infraestruturas críticas.
• Identificação de Lacunas Regulatórias: A análise revela que o Código de Prática do Ato de IA marginaliza amplamente os direitos fundamentais (por exemplo, discriminação) e os riscos ambientais em sua lista de "riscos sistêmicos especificados", focando, em vez disso, em preocupações tradicionais de segurança da IA (por exemplo, CBRN, ofensa cibernética). Além disso, o requisito de um "impacto significativo no mercado da União" é criticado como um paradigma desatualizado, inadequado para danos não econômicos como a erosão democrática ou a mudança climática.
• Análise de Sistemas Híbridos: O artigo destaca o risco de "integração modelo-plataforma", onde a interação entre modelos de IA e mecanismos de distribuição de plataformas (por exemplo, algoritmos de recomendação) cria riscos emergentes que nem o DSA nem o Ato de IA abordam adequadamente de forma isolada.

Resultados e Descobertas

• Discriminação em Larga Escala: Os autores constatam que, embora as evidências empíricas sobre a relação entre tamanho do modelo e viés sejam mistas, a escala de implantação e a irreversibilidade da exclusão estrutural tornam a discriminação em larga escala um claro risco sistêmico. O foco do Ato de IA nos modelos "mais avançados" cria uma lacuna regulatória para discriminação causada por sistemas menos avançados, mas amplamente implantados.
• Alucinações: O artigo identifica um paradoxo: as taxas de alucinação frequentemente diminuem com o avanço do modelo, no entanto, o impacto das alucinações pode aumentar devido à persuasividade dos modelos avançados. O quadro atual do Ato de IA luta para categorizar as alucinações como risco sistêmico porque elas não são específicas dos modelos "mais avançados" em termos de frequência, criando uma lacuna regulatória potencial para a propagação de desinformação.
• Impactos Ambientais: Os autores argumentam que a degradação ambiental decorrente do consumo de energia da IA qualifica-se como risco sistêmico devido à sua escala, interconectividade (ciclos de retroalimentação energia-água-clima) e irreversibilidade. No entanto, a definição centrada no mercado do Ato de IA torna difícil classificar esses danos não econômicos como riscos sistêmicos.
• DSA vs. Ato de IA: O DSA é considerado mais "à prova de futuro" em relação à restrição de "mais avançados", mas carece de uma definição coerente. O Ato de IA oferece uma definição formal, mas é limitado pelo seu foco em modelos de fronteira e impactos de mercado. O artigo conclui que o DSA faz um trabalho melhor na identificação de categorias de risco sistêmico do que o Ato de IA, no entanto, ambos falham em abordar as dinâmicas específicas dos sistemas híbridos de IA-plataforma.

Significado e Alegações
O artigo afirma fornecer uma "fundação conceitual e um kit de ferramentas de diagnóstico relevante para políticas" para governar a interação entre IA e plataformas. Seu significado reside em:

1. Ampliação do Escopo: Propor que as avaliações de risco sistêmico devem ir além das capacidades de fronteira e dos efeitos de mercado para incluir danos coletivos, direitos fundamentais e sustentabilidade ambiental.
2. Reforma Política: Recomendar que o Ato de IA da UE seja reformado para desvincular as obrigações de risco sistêmico dos limiares de modelos "mais avançados" e para incorporar explicitamente danos coletivos e impactos não de mercado na definição de risco sistêmico.
3. Coordenação Regulatória: Argumentar por uma "análise de risco recíproca" onde o DSA e o Ato de IA não sejam tratados como regimes isolados, mas como quadros interagentes necessários para gerenciar sistemas híbridos. Os autores afirmam que, sem tal coordenação, falhas localizadas de IA e plataformas aumentarão cada vez mais para interrupções estruturais que as regulamentações atuais não conseguem conter.

O artigo mantém uma postura modesta, reconhecendo que, embora ofereça um quadro e ferramentas de diagnóstico, a implementação dessas reformas exige navegar por desafios políticos e técnicos complexos, incluindo a necessidade de coordenação entre diferentes regimes regulatórios e a dificuldade de medir riscos emergentes em sistemas complexos.