The science and practice of proportionality in AI risk evaluations

Este artigo examina como o princípio da proporcionalidade, exigido pela legislação da União Europeia, pode orientar o desenvolvimento de métodos científicos para calibrar as avaliações de riscos sistêmicos de modelos de IA de propósito geral, equilibrando a gestão eficaz de riscos com a inovação técnica sob o Regulamento de IA.

O essencial

Imagine que a Inteligência Artificial (IA) é como um super-herói que acabou de chegar na cidade. Esse herói tem poderes incríveis para ajudar a todos, mas também tem o potencial de causar grandes estragos se não for bem controlado.

O problema é: como a polícia (o governo) pode garantir que esse herói não vai derrubar prédios acidentalmente, sem impedir que ele salve o dia ou sem gastar todo o orçamento da cidade?

É exatamente sobre isso que este artigo da revista Science fala. Ele discute um conceito chamado Proporcionalidade.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Dilema: O Martelo vs. A Noz

O governo quer criar regras para a IA. Mas existe um risco: eles podem usar um martelo gigante para esmagar uma noz.

• O Martelo: Exigir testes de segurança super caros, complexos e demorados para todas as IAs, mesmo as pequenas e inofensivas. Isso sufoca a inovação e custa uma fortuna.
• A Noz: Deixar a IA solta sem testes, o que pode ser perigoso.

O princípio da Proporcionalidade diz: "Use a ferramenta certa para o tamanho do problema". Se a IA é pequena e segura, um teste simples basta. Se a IA é poderosa e perigosa, aí sim, precisamos do martelo (testes pesados).

2. Os Três Pilares da Regra

Para saber se uma regra é justa, o artigo diz que ela precisa passar por três filtros:

• A) Adequação (Funciona?): O teste precisa realmente descobrir o perigo.
  • Analogia: Se você quer saber se um carro tem freios ruins, você não pode apenas olhar a pintura. Você precisa testar os freios em uma pista. O teste tem que ser realista e sensível o suficiente para pegar o problema.
• B) Necessidade (É o jeito mais fácil?): Existe uma forma mais barata e simples de fazer o mesmo teste?
  • Analogia: Se você quer saber se uma maçã está podre, você não precisa abrir uma máquina de raio-x de alta tecnologia. Basta cheirar ou dar uma mordida leve. Se o teste simples funciona, não use o complexo. O teste só é "necessário" se não houver outra opção mais leve que funcione tão bem.
• C) Equilíbrio (Vale a pena?): O esforço do teste não pode ser maior que o benefício de encontrarmos o erro.
  • Analogia: Não faz sentido gastar R$10.000 em um teste para achar um defeito que só vai custar R$ 50 para consertar. O custo não pode superar o ganho.

3. O Exemplo Prático: Caçadores de Bugs (Vulnerabilidades)

O artigo usa um exemplo de hackers tentando usar IA para encontrar falhas em códigos de computador. Eles compararam três tipos de "testes de segurança":

1. O Teste Rápido (HonestCyberEval): É como um teste de múltipla escolha. É fácil, barato e rápido. Se a IA falhar aqui, sabemos que ela é perigosa. Se passar, talvez precise de mais testes.
2. O Teste Realista (BountyBench): É como um simulador de voo. É mais difícil, exige mais computador e tempo, mas vê como a IA age em situações mais complexas.
3. O Teste Extremo (CyberGym): É como uma guerra real. É super detalhado, muito caro e demorado, mas é o mais preciso para ver se a IA consegue destruir sistemas complexos.

A Lição: Não precisamos fazer o "Teste Extremo" para todo mundo.

• Se a IA é pequena, fazemos o Teste Rápido.
• Se o teste rápido mostra sinais de perigo, aí sim, escalamos para o Teste Realista.
• Só se houver uma suspeita muito forte de perigo grave é que usamos o Teste Extremo.

Isso é a Proporcionalidade em ação: começar leve e aumentar a pressão apenas se for necessário.

4. O Desafio para o Futuro

O artigo termina dizendo que, embora a ideia seja boa, a ciência ainda precisa aprender a medir melhor isso.

• Precisamos de "réguas" melhores para saber exatamente quanto um teste custa e quanto ele vale.
• Precisamos de cientistas que criem testes que sejam baratos, mas que ainda assim descubram os perigos reais.

Resumo Final

A mensagem principal é: Não trate todos os problemas da mesma forma.

A regulação da IA deve ser como um médico:

• Para uma dor de cabeça leve, ele passa um analgésico simples (teste leve).
• Para uma suspeita de tumor, ele faz uma ressonância magnética completa (teste pesado).

Fazer a ressonância em quem só tem dor de cabeça é desperdício de dinheiro e tempo. Não fazer a ressonância em quem tem um tumor é perigoso. O segredo é saber qual paciente é qual, e aplicar o tratamento (ou o teste) na medida certa.

Resumo técnico

Resumo Técnico: A Ciência e a Prática da Proporcionalidade nas Avaliações de Risco de IA

Fonte: Science, 19 de fevereiro de 2026.
Autores: Carlos Mougan et al. (Comissão Europeia, RAND Corporation, Universidades e Institutos de Pesquisa).

1. O Problema

O artigo aborda um desafio global na regulação da Inteligência Artificial (IA): como gerir riscos de forma eficaz sem comprometer a inovação e o progresso técnico. Com a entrada em vigor, em agosto de 2025, das obrigações da Lei de IA da União Europeia (EU AI Act) para provedores de Modelos de IA de Propósito Geral (GPAI), surgiu uma necessidade crítica de avaliar riscos sistêmicos.

O problema central identificado é a falta de metodologias claras e cientificamente fundamentadas para determinar quando exigir uma avaliação de risco é "proporcional". Sem essas diretrizes, os reguladores enfrentam dificuldades para navegar em trade-offs complexos, correndo o risco de impor avaliações excessivamente onerosas (que sufocam a inovação) ou insuficientes (que deixam a sociedade desprotegida). O princípio da proporcionalidade, exigido pelo direito da UE, requer que as medidas sejam adequadas, necessárias e equilibradas, mas sua aplicação prática na avaliação de modelos de IA carece de operacionalização científica.

2. Metodologia e Estrutura Conceitual

Os autores propõem uma estrutura baseada no princípio jurídico da proporcionalidade, decompondo-o em três pilares técnicos para a avaliação de riscos de IA: Adequação (Suitability), Necessidade (Necessity) e Equilíbrio (Balancing).

A metodologia envolve a definição de critérios quantitativos e qualitativos para medir o "valor informativo" de uma avaliação versus o seu "ônus" (custo, intrusividade, recursos). O artigo utiliza uma abordagem iterativa e baseada em evidências, ilustrada por um estudo de caso sobre descoberta de vulnerabilidades cibernéticas.

Os três pilares da metodologia:

• A. Adequação (Suitability):
  Uma avaliação é adequada se contribui sistematicamente para a avaliação do risco, atingindo um nível mínimo de eficácia. A eficácia é medida pelo valor informativo. Para ser considerada adequada, a avaliação deve atender a quatro critérios:

  1. Realista: Reflete condições do mundo real (ex: entradas ruidosas, fatores humanos).
  2. Sensível: Capaz de detectar mudanças significativas no desempenho do modelo (evitando saturação ou tarefas impossíveis).
  3. Específica: Vinculada diretamente ao cenário de risco (ex: cadeia de ataque específica).
  4. Rigorosa: Segue princípios da ciência de medição (validade, confiabilidade, padrões técnicos).

• B. Necessidade (Necessity):
  Uma avaliação é necessária se não houver outro meio menos restritivo que seja igualmente eficaz. Isso exige uma comparação inter-avaliação (entre diferentes métodos).

  • Métrica de Comparação: O "ônus" é definido por dois fatores:
    1. Nível de Intrusividade: Interferência no negócio, infraestrutura ou experiência do usuário.
    2. Recursos: Custos de desenvolvimento (design, integração) e execução (computação, tempo, humanos).
  • Fronteira de Pareto: O artigo introduz o conceito de que uma avaliação é necessária se estiver na "Fronteira de Pareto" de ônus-eficácia (ou seja, não é possível aumentar a eficácia sem aumentar o ônus, nem reduzir o ônus sem perder eficácia).

• C. Equilíbrio (Balancing):
  Envolve uma comparação intra-avaliação, pesando o valor informativo contra o ônus para evitar desequilíbrios manifestos.

  • Fatores de Ponderação: Perfil de risco do modelo (probabilidade e severidade), capacidade do provedor (o ônus é relativo ao tamanho da empresa) e estágio do ciclo de vida do modelo.
  • Abordagem Iterativa: Propõe-se começar com métodos de baixo custo e baixa intrusividade (ex: testes estáticos). Se inconclusivos ou se indicarem alto risco, avança-se para métodos mais rigorosos e custosos. Isso alinha a proporcionalidade com o princípio da precaução.

3. Estudo de Caso: Descoberta de Vulnerabilidades Cibernéticas

Para ilustrar a aplicação prática, os autores comparam três métodos de avaliação para detectar se um modelo de IA pode explorar vulnerabilidades em código de fonte aberta:

1. HonestCyberEval: Baixo ônus, alto nível de orientação (sinalização de código vulnerável). Útil como triagem inicial; falha é informativa, mas sucesso é um sinal fraco de risco.
2. BountyBench: Ônus moderado/alto. Replica condições reais de especialistas em segurança. Maior sensibilidade e especificidade, mas exige integração complexa de sistemas.
3. CyberGym: Alto ônus (computacional e de execução). Oferece a maior especificidade, sensibilidade e rigor estatístico, simulando descoberta e exploração end-to-end.

Resultado da Análise de Caso:
Cada método possui pontos na Fronteira de Pareto. Não há um método "melhor" absoluto; a escolha depende do contexto.

• Para riscos baixos ou incertos, o HonestCyberEval pode ser suficiente (adequado e necessário).
• Se houver indícios de risco elevado, o regulador pode exigir o BountyBench ou o CyberGym para aumentar a confiança na estimativa de risco.
• A decisão final sobre qual ponto na fronteira escolher requer um julgamento normativo fundamentado cientificamente.

4. Principais Contribuições

• Operacionalização Jurídico-Científica: Traduz o conceito abstrato de "proporcionalidade" da lei da UE em critérios técnicos mensuráveis para avaliações de IA.
• Framework de Métricas: Define critérios claros (Realismo, Sensibilidade, Especificidade, Rigor) para avaliar a adequação de testes de IA.
• Conceito de Fronteira de Pareto em Regulação: Aplica a teoria econômica da eficiência para determinar quais avaliações são "necessárias" (sem desperdício de recursos).
• Abordagem Iterativa: Propõe um fluxo de trabalho escalável que começa com testes leves e avança para testes pesados apenas quando necessário, equilibrando precaução e eficiência.
• Identificação de Lacunas de Pesquisa: Aponta a necessidade urgente de desenvolver métricas padronizadas para comparar o valor informativo e o ônus de diferentes avaliações.

5. Resultados e Significância

• Para Reguladores: Oferece um guia prático para evitar decisões arbitrárias. Permite justificar legalmente por que uma avaliação específica foi exigida para um determinado modelo, baseando-se em evidências de eficácia e ônus.
• Para a Indústria (Provedores de IA): Clarifica o que é esperado, permitindo que as empresas planejem seus recursos de avaliação de forma mais eficiente, evitando sobrecarga desnecessária se o risco for baixo.
• Para a Comunidade Científica: Estabelece uma nova agenda de pesquisa focada em:
  1. Determinar o valor informativo mínimo para adequação.
  2. Criar metodologias para identificar avaliações "equivalentes" (para encontrar alternativas menos onerosas).
  3. Desenvolver técnicas que reduzam o ônus (intrusividade/recursos) sem sacrificar a qualidade dos dados.

Conclusão:
O artigo argumenta que a aplicação do princípio da proporcionalidade não é apenas uma exigência legal, mas uma ferramenta para otimizar a segurança da IA. Ao exigir que as avaliações sejam cientificamente justificadas em termos de custo-benefício, a UE pode proteger a sociedade de riscos sistêmicos sem estrangular a inovação, criando um modelo regulatório que é tanto rigoroso quanto adaptável. A chave para o sucesso reside no desenvolvimento contínuo de metodologias científicas que permitam medir e comparar o valor informativo das avaliações de risco.