Qualifying and Quantifying Risk under the EU AI Act

Problema
O Regulamento de IA da UE (AIA) emprega uma abordagem regulatória baseada no risco, categorizando os sistemas de IA em níveis de risco inaceitável, alto e mínimo para calibrar a intensidade regulatória. No entanto, existe uma tensão fundamental na definição de "risco" do Regulamento. O Artigo 3(2) define o risco como a "combinação da probabilidade de ocorrência de um dano e a severidade desse dano", implicando um quadro quantitativo. Inversamente, o foco principal do Regulamento são os danos à "saúde, segurança ou direitos fundamentais", que são tipicamente tratados como conceitos jurídicos qualitativos. O artigo identifica uma falta de clareza sobre como operacionalizar essa definição: especificamente, como interpretar e medir "probabilidade", "severidade" e sua "combinação" de uma forma que respeite a natureza qualitativa dos direitos fundamentais, satisfazendo simultaneamente os requisitos quantitativos de gestão de risco. Sem uma metodologia clara, há o risco de que fornecedores e utilizadores manipulem essas métricas ("hackeamento de risco") para subclassificar sistemas e evitar obrigações regulatórias.

Metodologia
Os autores propõem um quadro de duas etapas para reconciliar a proteção qualitativa dos direitos fundamentais com a avaliação quantitativa de risco. Este quadro é analisado face a potenciais abordagens para quantificar os três componentes centrais do risco:

1. Etapa 1: Equilíbrio entre Dano e Propósito: O quadro avalia primeiro o potencial dano aos direitos fundamentais no contexto do propósito pretendido do sistema de IA. Isto envolve uma decisão de equilíbrio entre a proteção dos direitos (saúde, segurança, democracia, estado de direito) e os propósitos legítimos de fornecedores/utilizadores (incluindo o interesse público e a liberdade de condução de negócios).
2. Etapa 2: Gestão de Riscos via Impacto Regulatório: A segunda etapa avalia o impacto das intervenções regulatórias (evasão, redução ou aceitação de risco) sobre os fornecedores, utilizadores e reguladores. O objetivo é determinar se o encargo regulatório é proporcionado à redução de risco alcançada.

Para abordar o desafio da quantificação, o artigo examina três componentes:

• Probabilidade: Os autores analisam a ambiguidade na definição do "evento" sobre o qual a probabilidade é medida (ex: interação única vs. impacto anual cumulativo) e as dificuldades de medição (incerteza epistémica, custos de dados, eventos não repetíveis). Discutem como diferentes interpretações estatísticas (frequentista vs. bayesiana) e limites de confiança podem levar a estimativas de risco vastamente diferentes.
• Severidade: O artigo explora a dificuldade de medir a severidade para direitos intangíveis (ex: privacidade, dignidade) e a falta de uma "unidade" unificada de severidade (monetária vs. ordinal). Sugere que, embora a valoração monetária seja frequentemente impossível para direitos fundamentais, a severidade pode ser avaliada ordinalmente (classificando danos) com base em precedentes judiciais e listas legislativas.
• Combinação: Os autores avaliam três interpretações de combinação de probabilidade e severidade:
  • Risco Esperado: O produto da probabilidade pela severidade. O artigo argumenta que isto é insuficiente, pois pode classificar eventos de alta severidade e baixa probabilidade como de baixo risco.
  • Análise de Equilíbrio: Uma abordagem de custo-benefício que integra o risco esperado com os benefícios do propósito do sistema e os custos da regulação.
  • Prioridade à Severidade vs. Prioridade à Probabilidade: Abordagens que priorizam uma métrica sobre a outra.

Principais Contribuições e Resultados

• Reconciliação do Risco Qualitativo e Quantitativo: O artigo demonstra que a proteção dos direitos fundamentais e a quantificação do risco são compatíveis dentro do quadro proposto de duas etapas. O Regulamento não exige um cálculo puramente matemático, mas sim um ato de equilíbrio estruturado.
• Identificação da Abordagem de "Prioridade à Severidade": Os autores argumentam que o Regulamento de IA utiliza implicitamente uma abordagem de "prioridade à severidade". Neste modelo, a severidade de um potencial dano é avaliada antes da sua probabilidade. Se um dano for considerado de severidade "inaceitavelmente alta" (ex: violações de direitos fundamentais essenciais), poderá desencadear uma proibição ou classificação de alto risco, independentemente da baixa probabilidade. A probabilidade atua como um fator secundário que pode baixar a classificação de risco (ex: de inaceitável para alto risco), mas não anula a avaliação inicial de severidade.
• Clarificação de "Combinação": O artigo postula que a "combinação" não deve ser interpretada apenas como "risco esperado" (probabilidade × severidade). Em vez disso, deve ser vista através de uma análise de equilíbrio que considere os benefícios relativos do propósito do sistema de IA e os custos da intervenção regulatória.
• Aviso contra o "Hackeamento de Risco": A análise destaca que a ambiguidade na definição de probabilidade e severidade cria oportunidades de manipulação. Se for deixado aos fornecedores definir estas métricas sem orientação padronizada, estes poderão adotar interpretações (ex: visões frequentistas com dados limitados) que minimizam artificialmente as estimativas de risco, levando à subclassificação.

Significado
O artigo afirma que o seu quadro proposto ajuda a clarificar a abordagem de risco do Regulamento de IA, indo além da aparente contradição entre definições quantitativas e direitos qualitativos. Ao sugerir uma mentalidade de "prioridade à severidade" integrada com uma análise de equilíbrio, os autores argumentam que os reguladores podem melhor operacionalizar o risco sem comprometer os direitos fundamentais. O significado deste trabalho reside no seu potencial para informar escolhas técnicas e de implementação, garantindo que a quantificação do risco apoie os objetivos do Regulamento em vez de permitir atalhos regulatórios. Os autores enfatizam que a metodologia escolhida para a quantificação é de natureza política e deve estar alinhada com a salvaguarda dos direitos fundamentais para evitar a erosão do quadro regulatório.