🤖 machine learning

Using predictive multiplicity to measure individual performance within the AI Act

Este artigo argumenta que a multiplicidade preditiva — a existência de múltiplos modelos com precisão semelhante, mas previsões individuais conflitantes — contradiz os requisitos da Lei de IA da UE para sistemas de alto risco, e propõe métricas específicas e diretrizes de relato para quantificar e divulgar tais divergências a fim de garantir conformidade e confiabilidade.

Autores originais: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está solicitando um empréstimo, um emprego ou um tratamento médico. Você espera que o sistema de computador que decide o seu destino seja uma bola de cristal que vê a verdade perfeitamente. Mas e se essa bola de cristal não for um objeto único? E se for, na verdade, uma caixa inteira de bolas de cristal diferentes, todas fabricadas pela mesma empresa, todas alegando ter 95% de precisão, mas todas dizendo algo ligeiramente diferente sobre o seu caso específico?

Este é o problema central que o artigo "Using predictive multiplicity to measure individual performance within the AI Act" aborda. Aqui está uma explicação simples do argumento deles, usando analogias do cotidiano.

1. O Problema: O Efeito "Rashomon"

No mundo da IA, existe um fenômeno chamado Multiplicidade Preditiva. Pense nisso como um grupo de juízes especialistas analisando o mesmo processo.

O Cenário: Você tem 100 juízes especialistas. Eles concordam em 90% dos casos. Todos são "precisos" no geral.
A Reviravolta: Quando eles analisam o seu caso específico, 50 juízes dizem "Sim" e 50 dizem "Não".
A Realidade: Como não existe um único modelo "melhor", o provedor de IA poderia facilmente ter escolhido um modelo diferente de sua caixa de ferramentas que teria lhe dado o resultado oposto, embora esse modelo fosse tão "preciso" quanto o outro no geral.

Os autores argumentam que essa arbitrariedade é perigosa. Se a sua vida depende da decisão, não deveria importar qual dos modelos "igualmente bons" o computador acabou escolhendo. Se os modelos discordam de você, o sistema está, essencialmente, jogando uma moeda para o alto no seu caso específico.

2. A Lei: O AI Act da UE

O artigo analisa este problema sob a ótica do AI Act da UE, uma nova lei na Europa que regula a IA de alto risco (como contratação, saúde ou empréstimos).

O Requisito: A lei diz que as empresas que constroem esses sistemas de IA devem provar que são precisos.
A Lacuna: Geralmente, as empresas apenas dizem: "Nosso sistema tem 90% de precisão no conjunto de dados total".
A Percepção do Artigo: A lei exige, na verdade, que os provedores prestem contas sobre pessoas específicas, e não apenas sobre a média do grupo. Os autores argumentam que, se diferentes modelos "bons" discordam de uma pessoa específica, o sistema não é confiável para aquela pessoa, mesmo que a pontuação geral pareça ótima.

3. A Solução: Medindo a "Discordância"

Para corrigir isso, os autores propõem uma nova forma de medir o desempenho. Em vez de apenas perguntar "O modelo está certo?", eles perguntam: "O quanto os outros modelos bons discordam deste aqui?"

Eles introduzem duas ferramentas simples (métricas) para medir isso:

A Razão de Conflito (O medidor de "Cabo de Guerra"):
Imagine um cabo de guerra para o seu caso específico. Se 100 modelos estão puxando a corda, quantos estão puxando para o "Sim" versus o "Não"?
- Se 99 puxam o "Sim" e 1 puxa o "Não", o conflito é baixo. Você pode confiar no "Sim".
- Se 50 puxam o "Sim" e 50 puxam o "Não", o conflito está no máximo. O sistema está confuso sobre você.
- O Objetivo: Se a razão de conflito for alta, o sistema deve sinalizar essa pessoa para uma revisão humana, em vez de deixar o computador decidir.
A $\delta$ -Ambiguidade (A "Contagem de Confusão"):
Esta é uma forma de contar quantas pessoas em todo o grupo estão neste estado de "confusão". Ajuda a empresa a ver se o seu sistema é geralmente confiável ou se é uma bagunça para uma grande parcela de pessoas.

4. Como Fazer: A Abordagem "Ad-Hoc"

Você pode pensar: "Para encontrar todos esses modelos diferentes, eu preciso testar milhões deles!" Isso levaria uma eternidade.
Os autores encontraram um atalho inteligente. Você não precisa testar todos os modelos possíveis. Você só precisa treinar um pequeno grupo de modelos fazendo pequenas mudanças aleatórias no processo, como:

Alterar levemente a ordem dos dados.
Adicionar um pouco de "ruído" (aleatoriedade) aos números.
Usar configurações ligeiramente diferentes (como mudar a temperatura de um fogão).

Eles testaram isso e descobriram que mesmo um pequeno grupo de modelos treinados desta forma é suficiente para revelar onde o sistema está confuso. É como pedir a alguns chefs diferentes para cozinhar o mesmo prato com ingredientes ligeiramente diferentes; se todos concordarem com o sabor, você está bem. Se eles discutirem, você sabe que algo está errado.

5. A Recomendação: Um Aperto de Mão entre Criador e Usuário

O artigo conclui com uma sugestão prática de como o AI Act deve funcionar na vida real:

Para os Criadores de IA (Provedores): Não entregue apenas um modelo de "caixa preta". Entregue às pessoas que usam o sistema (os Implementadores) um "kit de ferramentas" de vários modelos igualmente bons.
Para os Usuários de IA (Implementadores): Antes de tomar uma decisão final sobre uma pessoa, verifique a "Razão de Conflito".
- Baixo Conflito: Os modelos concordam. Pode prosseguir com a decisão automatizada.
- Alto Conflito: Os modelos estão brigando. Pare. Traga um humano para tomar a decisão final.

Resumo

O artigo argumenta que a precisão não é apenas um número; é uma história sobre consistência. Se um sistema de IA não consegue concordar consigo mesmo sobre você, ele não deve ter permissão para tomar uma decisão que mude sua vida sem que um humano esteja vigiando por cima de seu ombro. Ao medir o quanto diferentes modelos "bons" discordam, podemos tornar a IA mais segura e confiável sob as novas leis europeias.

Resumo Técnico: O Uso da Multiplicidade Preditiva para Medir o Desempenho Individual dentro do AI Act

Definição do Problema
O artigo aborda o fenômeno da multiplicidade preditiva (também conhecida como efeito Rashomon), onde múltiplos modelos de aprendizado de máquina distintos alcançam uma precisão estatística global comparável, mas geram previsões conflitantes para casos individuais específicos. Embora a alta precisão agregada sugira confiabilidade geral, ela não garante resultados confiáveis para indivíduos específicos. Essa arbitrariedade é particularmente problemática em domínios de alto risco (ex.: emprego, saúde, educação), onde as decisões impactam diretamente os direitos humanos e o bem-estar.

Os autores argumentam que este problema cria um desafio regulatório sob o AI Act da UE (AIA). O Ato exige que sistemas de IA de alto risco alcancem um "nível apropriado de precisão" (Artigo 15) e exige que os provedores relatem métricas de desempenho não apenas para o nível do conjunto de dados, mas também para pessoas específicas (Artigos 11 e 13, Anexo IV). O artigo postula que, se múltiplos modelos de precisão semelhante discordarem sobre o caso de um indivíduo, o sistema não pode ser considerado confiável para esse indivíduo, potencialmente violando as disposições de precisão e transparência do AIA.

Metodologia
O artigo emprega uma abordagem dupla: uma análise jurídica doutrinária do AI Act da UE e um framework computacional para medir a multiplicidade preditiva.

Análise Jurídica:
- Os autores analisam os Artigos 11, 13 e 15 do AI Act utilizando interpretação textual, sistemática e teleológica.
- Eles estabelecem que a "precisão" no Ato refere-se ao conceito mais amplo de desempenho em relação ao propósito pretendido do sistema, estendendo-se além das métricas estatísticas padrão.
- Crucialmente, eles interpretam os requisitos de transparência como uma exigência de avaliações de desempenho para indivíduos específicos, não apenas estatísticas agregadas de conjuntos de dados.
Framework Técnico:
Para operacionalizar o requisito jurídico de avaliação de desempenho individual, os autores propõem quantificar a discordância entre modelos dentro de um conjunto Rashomon (o conjunto de todos os modelos que alcançam uma precisão dentro de um limiar $\epsilon$ do melhor modelo).
- Razão de Conflito ( $c_R(x)$ ): Uma métrica para pontos de dados individuais $x$ . Ela mede a fração de modelos no conjunto Rashomon que preveem um rótulo diferente da maioria. Um valor de 0,5 indica conflito máximo (metade prevê 0, metade prevê 1); 0 indica concordância unânime.
- $\delta$ -Ambiguidade ( $A_\delta(R, D)$ ): Uma métrica ao nível do conjunto de dados que representa a fração de indivíduos cujo índice de conflito excede um limiar $\delta$ . Ela generaliza a ambiguidade padrão ao considerar o grau de conflito, não apenas sua presença.
- Aproximação Ad-hoc: Como enumerar o conjunto Rashomon completo é computacionalmente inviável para modelos complexos, os autores propõem uma abordagem ad-hoc. Isso envolve treinar múltiplos modelos variando:
  - Multiplicidade paramétrica: Hiperparâmetros, sementes aleatórias e arquitetura do modelo.
  - Multiplicidade do conjunto de dados: Bootstrapping, ruído de atributos e subamostragem de atributos.
- O conjunto resultante de modelos de alto desempenho serve como uma aproximação do conjunto Rashomon para calcular as razões de conflito.

Principais Resultados
Os autores validam sua abordagem através de experimentos com dados sintéticos, o conjunto de dados de emprego da American Community Survey (ACS), e diversos conjuntos de dados do mundo real (COMPAS, Student Dropout, European Social Survey).

Importância da Multiplicidade do Conjunto de Dados: Experimentos demonstram que ignorar a multiplicidade do conjunto de dados (treinando todos os modelos em uma mesma amostra de dados) subestima significativamente a multiplicidade preditiva. Incorporar variações do conjunto de dados (ex.: bootstrapping) é crucial para descobrir casos conflitantes.
Eficácia da Abordagem Ad-hoc: A abordagem ad-hoc, mesmo com um número relativamente pequeno de modelos (ex.: 200–500), aproxima-se de perto as razões de conflito e a $\delta$ -ambiguidade de métodos exaustivos (como o algoritmo TreeFarms para árvores de decisão).
Convergência: Métricas como ambiguidade padrão e $\delta$ -ambiguidade convergem rapidamente à medida que o tamanho do conjunto Rashomon aumenta, sugerindo que um conjunto pequeno e diverso de modelos é suficiente para capturar a multiplicidade relevante.
Aplicação no Mundo Real: No conjunto de dados de Emprego da ACS, abordagens que incorporam multiplicidade de dados (especificamente bootstrapping) identificaram com sucesso uma proporção maior de indivíduos com altas razões de conflito em comparação com abordagens usando dados fixos.

Significância e Alegações
O artigo afirma ser o primeiro a conectar diretamente a multiplicidade preditiva aos requisitos de conformidade do AI Act da UE. Suas principais contribuições são:

Interpretação Jurídica: Argumenta que o requisito do AI Act de relatar a precisão para "pessoas específicas" implica a necessidade de avaliar a confiabilidade individual, a qual a multiplicidade preditiva fornece um framework para medir.
Ferramentas de Conformidade Prática: Introduz razões de conflito e $\delta$ -ambiguidade como ferramentas concretas e computacionalmente viáveis para provedores avaliarem o desempenho individual e para implantadores identificarem casos de alto risco.
Recomendações Acionáveis:
- Para Provedores: Devem buscar deliberadamente modelos de precisão comparável (usando a abordagem ad-hoc) e fornecer aos implantadores informações sobre previsões conflitantes.
- Para Implantadores: Devem usar as razões de conflito para identificar indivíduos sujeitos a alta ambiguidade. Para esses casos, o artigo recomenda envolver a supervisão humana em vez de confiar apenas em decisões automatizadas, garantando assim que as decisões sejam bem fundamentadas.

Os autores mantêm uma postura modesta, reconhecendo que sua abordagem ad-hoc é uma aproximação e que a definição exata de "precisão apropriada" dependerá de futuras normas harmonizadas. No entanto, afirmam que considerar a multiplicidade preditiva é essencial para garantir que as decisões apoiadas por IA sejam confiáveis e para fomentar a confiança em sistemas de IA de alto risco.