Empirically Derived AI Harm Profiles and the Case for Context-Sensitive Moral Responsibility

A inteligência artificial não é mais uma promessa distante; é uma realidade diária que toma decisões que afetam nossa segurança, nossos empregos, nossa privacidade e nosso acesso a serviços. Quando esses sistemas funcionam, eles otimizam nossas vidas. Quando falham, as consequências podem ser graves, variando de ferimentos físicos à negação de direitos civis. Durante anos, especialistas tentaram governar essas tecnologias usando princípios éticos amplos, como justiça, transparência e segurança. No entanto, essas ideias de alto nível muitas vezes têm dificuldade em se traduzir em regras práticas para as formas desordenadas e variadas como a IA é realmente usada no mundo real. Um desafio fundamental tem sido entender como diferentes tipos de IA falham em situações específicas. Um carro autônomo que bate é o mesmo tipo de problema que um chatbot que espalha desinformação, ou um sistema de reconhecimento facial que identifica erroneamente um suspeito? Para responder a isso, pesquisadores começaram a olhar para falhas documentadas não como acidentes isolados, mas como pontos de dados que podem revelar padrões mais profundos.

Uma equipe de pesquisadores da Universidade de Cumberland estabeleceu o objetivo de encontrar esses padrões examinando uma vasta coleção de incidentes de IA do mundo real. Eles reuniram 849 casos documentados de falhas de IA de um banco de dados público conhecido como Repositório AIAAIC, que rastreia incidentes envolvendo inteligência artificial, algoritmos e automação. Em vez de tratar cada evento como uma história única, os pesquisadores analisaram como essas falhas se agrupavam com base no que a tecnologia era, onde era usada, o que deveria fazer e que tipo de dano causava. O objetivo deles era ver se o caos dos acidentes individuais poderia ser organizado em algumas categorias distintas, ou "perfis de dano", que ajudariam reguladores e empresas a construir regras de supervisão melhores e mais específicas.

A análise revelou que as falhas de IA não são aleatórias. Elas tendem a se agrupar em torno de dois temas estruturais principais. O primeiro tema distingue entre sistemas que interagem diretamente com o mundo físico e aqueles que processam informações primariamente. O segundo tema separa sistemas projetados para identificar e monitorar pessoas daqueles projetados para gerar conteúdo. Ao mapear essas relações, os pesquisadores identificaram três perfis claros e recorrentes de dano que emergem quando as coisas dão errado.

O primeiro perfil é o que os pesquisadores chamam de IA Autônoma ou Incorporada. Estes são sistemas que possuem uma presença física e podem causar danos físicos diretos, como veículos autônomos ou robôs. Nos dados, essas falhas quase sempre ocorreram no setor de transporte. Quando esses sistemas falham, o resultado é tipicamente uma falha de segurança: um carro bate, um robô apresenta mau funcionamento ou um operador humano perde o controle. Os riscos aqui são imediatos e físicos, afetando a segurança de passageiros, pedestres e socorristas. Como as consequências são tangíveis e perigosas, os pesquisadores sugerem que a governança para este grupo deve focar fortemente na segurança operacional, testes rigorosos de hardware e sensores, e regras claras sobre quem é responsável quando ocorre um acidente físico.

O segundo perfil é o Reconhecimento de Visão. Esta categoria inclui sistemas que usam câmeras e softwares para identificar pessoas, como a tecnologia de reconhecimento facial usada por forças policiais ou agências de segurança. Os dados mostraram que as falhas nesta área estão concentradas nos setores de justiça e aplicação da lei. Diferente dos acidentes físicos do primeiro grupo, os danos aqui estão profundamente ligados aos direitos civis e à discriminação. Os problemas mais comuns envolvem o sistema identificando erroneamente pessoas, particularmente de grupos demográficos específicos, ou usando a vigilância de formas que excedem os limites legais. Os pesquisadores descobriram que essas falhas criam um tipo diferente de risco: uma ameação à privacidade, à justiça e ao direito de estar livre de acusações injustas. A governança para este perfil, portanto, precisa focar em prevenir o viés, garantir a transparência na forma como os sistemas são usados e fornecer caminhos claros para que as pessoas contestem identificações incorretas.

O terceiro perfil é a IA Generativa. Esta é a tecnologia por trás de ferramentas que criam textos, imagens e outras mídias. Os dados mostraram que as falhas aqui são mais comuns nos setores de mídia e informação. Os danos associados a este grupo são distintos dos outros; eles raramente envolvem ferimentos físicos ou vigilância direta. Em vez disso, os problemas giram em torno da qualidade e veracidade da informação. As falhas incluem a criação de conteúdo convincente, porém falso, a personificação de pessoas reais e a disseminação de desinformação que pode prejudicar reputações ou manipular a opinião pública. Como o risco é para a integridade da informação, e não para a segurança física ou vigilância imediata, os pesquisadores argumentam que a supervisão para este grupo deve focar em verificar a fonte do conteúdo, monitorar saídas enganosas e garantir que criadores e plataformas sejam responsáveis pelo que seus sistemas produzem.

Curiosamente, os pesquisadores descobriram que um tipo comum de capacidade de IA, o monitoramento preditivo, não formou seu próprio grupo separado. O monitoramento preditivo refere-se a sistemas que analisam dados para prever eventos futuros, como prever crimes, inadimplência de empréstimos ou resultados de saúde. O estudo mostrou que esses sistemas não se agruparam porque seus riscos dependem inteiramente de onde são usados. Um sistema preditivo usado na saúde enfrenta desafios éticos diferentes de um usado em contratações ou finanças. Essa descoberta sugere que o monitoramento preditivo não é uma categoria única de risco, mas uma ferramenta que assume o caráter do ambiente em que entra. Se um sistema preditivo é usado em um contexto policial, ele herda os riscos do perfil de Reconhecimento de Visão; se usado em finanças, ele herda os riscos econômicos de outros perfis. Isso significa que as regras para esses sistemas não podem ser de tamanho único; elas devem ser adaptadas ao contexto específico em que a previsão está sendo feita.

Os pesquisadores propõem uma nova forma de governar a IA baseada nessas descobertas. Em vez de aplicar as mesmas regras amplas a toda inteligência artificial, eles sugerem que reguladores e empresas devem primeiro identificar em qual perfil de dano um sistema se encaixa. Uma vez que um sistema é categorizado, as regras específicas para monitoramento, auditoria e atribuição de responsabilidade podem ser aplicadas. Por exemplo, um carro autônomo estaria sujeito a auditorias de segurança rigorosas e requisitos de relatório imediato para incidentes físicos próximos de ocorrer. Um sistema de reconhecimento facial seria obrigado a passar por verificações regulares de viés racial e fornecer vias claras para que cidadãos recorram de identificações incorretas. Uma plataforma de IA generativa precisaria provar a autenticidade de seu conteúdo e ter mecanismos para remover rapidamente desinformação prejudicial.

Esta abordagem move a governança da IA de princípios abstratos para ações concretas. Ela reconhece que uma falha em um robô é fundamentalmente diferente de uma falha em um chatbot, e que as pessoas responsáveis por consertá-los devem ser diferentes também. Ao olhar para o histórico real de como a IA falhou, os pesquisadores forneceram um mapa para construir um sistema de supervisão mais eficaz e sensível ao contexto. Eles argumentam que este método permite que a sociedade aborde os perigos específicos de cada tipo de tecnologia sem se perder em generalidades, garantindo que as regras que criamos sejam tão práticas e precisas quanto a própria tecnologia. O estudo conclui que, ao tratar os incidentes documentados como um recurso, em vez de apenas um registro de erros passados, podemos construir um futuro onde a IA seja governada por uma compreensão de seu impacto no mundo real, tornando a tecnologia mais segura e responsável para todos.