High-Risk AI Systems and the Problem of Identity in the European AI Act

Resumo Técnico: Sistemas de IA de Alto Risco e o Problema da Identidade no Regulamento Europeu sobre Inteligência Artificial

Declaração do Problema
O Regulamento Europeu sobre Inteligência Artificial (AIA) estabelece um regime de governança do ciclo de vida para sistemas de IA de alto risco centrado na avaliação de conformidade ex-ante, no monitoramento pós-mercado e na reavaliação após "modificação substancial". Este quadro regulamentar depende implicitamente de juízos sobre "identidade da IA": reguladores e fornecedores devem determinar quando um sistema atualizado permanece o "mesmo" sistema ao longo do tempo (identidade diacrônica) e quando instâncias contemporâneas (por exemplo, cópias ou variantes) devem ser tratadas como o mesmo sistema para comparabilidade regulamentar (identidade sincrônica).

O artigo identifica duas lacunas críticas no tratamento pelo AIA dessas questões de identidade:

1. Ambiguidade Diacrônica: Embora o AIA defina "modificação substancial" como um gatilho para recertificação, carece de um critério preciso e auditável para determinar quando um sistema deixou de ser a mesma entidade, particularmente no que diz respeito à quantificação do "funcionamento adequado" ao longo do tempo.
2. Lacuna Sincrônica: O AIA não fornece um critério interno e auditável para identidade sincrônica de sistemas de IA de alto risco autônomos. Ele delega amplamente essas determinações a instrumentos de harmonização setorial (por exemplo, regulamentos de dispositivos médicos), que frequentemente dependem de proxies vagos como "equivalência" ou "similaridade essencial". Isso cria pontos cegos regulamentares em licitações, responsabilidade civil e vigilância de mercado, onde as autoridades devem decidir se evidências de conformidade para uma instância se generalizam para outra.

Metodologia
O artigo adota uma abordagem conceitual e de auditoria, em vez de um estudo empírico ou de implementação. Utiliza o quadro function+ de identidade de artefatos (Carrara e Vermaas, 2009; Ferrario, 2025) como uma lente metafísica para analisar a lógica regulamentar do AIA.

A metodologia envolve:

• Alinhamento Metafísico: Mapear as obrigações do ciclo de vida do AIA (avaliação de conformidade, monitoramento, modificação substancial) para os componentes do function+: função-técnica (finalidade pretendida), perfil de confiabilidade (critérios sensíveis ao contexto de funcionamento adequado) e nível de confiabilidade (satisfação quantificada do perfil ao longo do tempo).
• Análise de Casos: Aplicar este quadro a dois casos ilustrativos: (1) um sistema de triagem clínica submetido a retreinamento e atualizações de restrições de equidade (desafio diacrônico) e (2) dois sistemas de controle fronteiriço biométrico com funcionalidade central idêntica, mas com otimizações de desempenho diferentes (desafio sincrônico).
• Análise de Lacunas: Comparar as disposições explícitas do AIA com os requisitos do quadro function+ para identificar onde a regulamentação carece de precisão operacional.
• Construção de Fluxo de Trabalho: Desenvolver um fluxo de decisão mínimo (fluxo de trabalho de auditoria) para operacionalizar juízos de identidade sincrônica.

Principais Contribuições
O artigo faz três contribuições primárias:

1. *Alinhamento Conceitual do AIA e do function+:* Os autores demonstram que a governança do ciclo de vida do AIA operacionaliza implicitamente o componente diacrônico do quadro function+.

   • A avaliação de conformidade ex-ante fixa a linha de base relevante para a identidade (finalidade pretendida e perfil de confiabilidade).
   • O monitoramento pós-mercado rastreia o nível de confiabilidade ao longo do tempo.
   • A modificação substancial atua como a condição de descontinuidade legal.
     O artigo esclarece que, embora o AIA forneça uma condição suficiente para recertificação (o surgimento de modificação substancial), o quadro function+ fornece condições necessárias e suficientes para persistência, incorporando explicitamente a quantificação dos níveis de confiabilidade que o AIA atualmente deixa subespecificados.

2. Identificação e Resolução da Lacuna de Identidade Sincrônica: O artigo argumenta que o AIA falha em fornecer um critério interno para identidade sincrônica de sistemas autônomos. Propõe o critério SI_function+ como solução: dois sistemas são idênticos no tempo t se compartilharem a mesma função-técnica, perfil de confiabilidade e nível de confiabilidade.

   • Este critério ancora a comparabilidade na função pretendida e nos requisitos de confiabilidade, tornando as decisões de identidade inspecionáveis em contextos de governança como licitações e responsabilidade civil.
   • Um fluxo de trabalho mínimo de auditoria é proposto (Figura 2), exigindo justificativa da mesma natureza na fase de avaliação de conformidade (finalidade/perfil) e manutenção da mesma natureza durante o monitoramento pós-mercado (nível no tempo t).

3. Recomendações Voltadas para a Implementação: Para tornar a abordagem function+ operacionalmente legível dentro do AIA, os autores propõem:

   • Relato Preciso da Finalidade Pretendida: Ir além de descrições amplas para documentar a taxonomia funcional da IA (função-técnica, função de uso, função social), particularmente para IA generativa, incluindo exclusões explícitas e usos não pretendidos.
   • Relato Padronizado e Auditável de Confiabilidade: Substituir alegações vagas de "equivalência" por relato padronizado de contratos de confiabilidade e funções de nível de confiabilidade. Os autores sugerem o uso de funções por partes constantes multidimensionais (por exemplo, mapeando precisão e segurança para "patamares" de confiabilidade) para agregar métricas diversas em um indicador composto. Isso permite tolerar flutuações menores em dimensões individuais, acionando reavaliação apenas quando um sistema cruza um limiar para um patamar de confiabilidade inferior.

Resultados e Alegações
O artigo não apresenta resultados experimentais ou procedimentos de conformidade validados. Em vez disso, seus "resultados" são esclarecimentos conceituais e propostas estruturais:

• Alegação 1: O mecanismo do ciclo de vida do AIA operacionaliza implicitamente a identidade diacrônica, mas o quadro function+ esclarece isso ao vincular explicitamente a finalidade pretendida a um nível de confiabilidade quantificável, tornando o limiar de "modificação substancial" mais inspecionável.
• Alegação 2: O AIA deixa uma lacuna significativa na identidade sincrônica para sistemas autônomos. O quadro function+ preenche essa lacuna ao fornecer um critério testável (SI_function+) que vincula funções pretendidas e perfis de confiabilidade à comparabilidade regulamentar.
• Saída Operacional: O artigo fornece um "mapa de correspondência" (Figura 1) alinhando obrigações do AIA com questões de identidade metafísica e uma "lista de verificação mínima de auditoria" (Tabela 1) para decisões de identidade sincrônica, especificando exatamente quais campos em artefatos do AIA (documentação técnica, arquivos de gestão de riscos, planos de monitoramento) devem ser auditados.

Significado
O artigo posiciona-se como uma lente conceitual e de auditoria, em vez de uma reforma legal prescritiva. Seu significado reside em:

• Fundamentação Metafísica: Fornecer uma base filosófica para a lógica do ciclo de vida relevante para identidade do AIA, indo além dos desafios éticos para abordar o status ontológico dos sistemas de IA na regulamentação.
• Auditabilidade: Tornar as determinações de identidade transparentes e contestáveis. Ao definir a identidade através da função pretendida e de níveis de confiabilidade mensuráveis, o artigo permite que reguladores e auditores julguem disputas sobre a mesma natureza do sistema (por exemplo, em licitações ou resposta a incidentes) com maior precisão.
• Preparação para o Futuro: Abordar os desafios específicos impostos pela IA generativa e agênica, onde o uso pretendido é frequentemente vago e as mudanças são difíceis de antecipar, ao advogar por relato padronizado e agregado de confiabilidade que possa suportar comparabilidade entre implementações e ao longo do tempo.

Os autores concluem que, embora o AIA seja um passo regulamentar significativo, sua eficácia em governança, responsabilidade civil e licitações depende da clarificação das condições de identidade dos sistemas de IA, uma tarefa para a qual o quadro function+ oferece uma solução estruturada e auditável.