Position: Evaluations of AI Moral Reasoning Still Miss Half of the Picture
Este artigo argumenta que as avaliações atuais do raciocínio moral de IA focam excessivamente no alinhamento de valores enquanto negligenciam a aplicação de normas sensíveis ao contexto, e propõe uma agenda de pesquisa para abordar essa lacuna por meio de representações formais padronizadas, conjuntos de dados anotados por especialistas e protocolos de avaliação distintos para competência normativa.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Quando as pessoas pedem conselhos a um computador sobre uma escolha difícil, elas estão frequentemente fazendo uma pergunta que possui duas partes muito distintas. A primeira parte é sobre o que nos importa: valorizamos a bondade acima das regras estritas, ou a justiça acima da lealdade? A segunda parte é sobre como usamos esses interesses para tomar uma decisão em uma situação específica. Imagine que você esteja tentando decidir se deve dizer uma verdade dolorosa a um amigo. Saber que você valoriza a honestidade é uma coisa; saber exatamente como esse valor se aplica quando a verdade pode ferir alguém que você ama é outra. Esta segunda parte requer seguir um conjunto de princípios que dizem como pesar diferentes preocupações umas contra as outras. Durante anos, cientistas que estudam inteligência artificial focaram quase inteiramente na primeira parte, verificando se as respostas de uma máquina coincidem com o que os humanos geralmente preferem. Mas uma nova análise sugere que, ao parar por aí, os pesquisadores perderam o teste mais importante de se uma máquina pode realmente pensar como um agente moral.
Uma equipe de pesquisadores da Universidade de Connecticut, da Universidade Carnegie Mellon e da Hugging Face examinou como testamos atualmente o raciocínio moral de modelos de linguagem de grande escala. Estes são os poderosos programas de computador que podem escrever ensaios, responder perguntas e oferecer conselhos. Os autores argumentam que o campo tornou-se excessivamente focado em um "problema de valor moral", que simplesmente pergunta se as respostas do computador se alinham com as opiniões humanas. Eles sustentam que essa abordagem deixa o "problema da norma moral" amplamente inexplorado. O problema da norma moral é o desafio mais difícil de verificar se uma máquina consegue identificar os princípios corretos para uma situação e aplicá-los corretamente para chegar a uma conclusão. Os pesquisadores descobriram que os testes atuais são como verificar se um aluno memorizou uma lista de valores, mas nunca perguntar se ele consegue usar esses valores para resolver um problema complexo.
Para entender por que essa distinção é importante, considere como os cientistas tradicionalmente medem a moralidade tanto em humanos quanto em máquinas. Eles têm dependido fortemente de estruturas como a Teoria das Fundações Morais, que decompõe a moralidade humana em categorias amplas, como cuidado, justiça e lealdade. Essas ferramentas são excelentes para descrever o que as pessoas tendem a valorizar. Se você pedir a um computador para escolher entre salvar uma pessoa ou cinco pessoas, e ele escolher as cinco, os pesquisadores podem dizer que o computador se alinha com o valor humano de cuidar do maior número. No entanto, os pesquisadores apontam que se importar com um valor não é o mesmo que saber como aplicá-lo. Uma máquina pode concordar que "causar dano é ruim", mas falhar em entender que, em alguns sistemas éticos, causar dano a uma pessoa para salvar cinco é uma violação de uma regra diferente. Os testes atuais frequentemente confundem a capacidade de uma máquina de dizer as palavras certas com sua capacidade de realizar o raciocínio correto.
Os autores revisaram dezenas de estudos e parâmetros existentes usados para avaliar a moralidade da IA. Eles descobriram que quase todos esses testes se agrupam em torno do problema do valor moral. Esses testes pedem que o computador escolha uma resposta de uma lista ou descreva uma preferência e, em seguida, comparam essa escolha com o que um grupo de humanos escolheria. Embora isso nos diga o que a máquina prioriza, não nos diz se a máquina pode construir um argumento válido baseado em uma teoria ética específica. Os pesquisadores descobriram que pouquíssimos testes realmente verificam se uma máquina pode pegar um conjunto de princípios, aplicá-los a uma situação nova e complicada e explicar seu raciocínio passo a passo. Quando os testes tentam olhar para o raciocínio, eles frequentemente usam as mesmas categorias amplas de valores como um atalho, assumindo que, se uma máquina se importa com a "justiça", ela deve saber como aplicar as regras da justiça. Os autores argumentam que isso é um erro, porque diferentes teorias éticas podem todas alegar que se importam com a justiça, enquanto exigem resultados completamente diferentes.
Essa confusão cria uma lacuna em nossa compreensão do que essas máquinas podem realmente fazer. Os pesquisadores identificaram três peças específicas que faltam no cenário de avaliação atual. Primeiro, não existe um conjunto de respostas corretas de alta qualidade e compartilhado sobre como as regras morais devem ser aplicadas em diferentes situações. Sem uma referência padrão, cada equipe de pesquisa constrói seu próprio teste, tornando impossível comparar resultados ou ver progresso real. Segundo, os testes não olham de perto o suficiente para os passos que uma máquina toma para chegar a uma conclusão. Uma máquina pode obter a resposta certa por sorte ou por adivinhação, mas os métodos atuais frequentemente falham em detectar se o raciocínio por trás dessa resposta é falho. Terceiro, os testes não verificam se a máquina consegue identificar os detalhes mais importantes de uma história. Antes de uma máquina poder aplicar uma regra, ela deve primeiro descobrir quais partes de uma situação importam moralmente, e as ferramentas atuais não medem bem essa habilidade.
Para corrigir esses problemas, os autores propõem um novo caminho para o campo. Eles sugerem que os cientistas precisam criar uma linguagem comum para descrever teorias éticas, para que diferentes pesquisadores possam construir testes que falem aos mesmos princípios. Eles pedem a criação de novos conjuntos de dados onde especialistas em ética anotem como regras específicas devem ser aplicadas a cenários do mundo real. Finalmente, eles instam a comunidade a parar de confundir o teste do que uma máquina valoriza com o teste de como ela raciocina. Uma máquina deve ser julgada por sua habilidade de seguir um caminho lógico de um princípio a uma decisão, não apenas se sua escolha final coincide com a opinião humana. Os pesquisadores concluem que fizemos bons progressos em entender o que as máquinas valorizam, mas apenas começamos a entender se elas podem realmente refletir sobre um problema moral. Até que construamos as ferramentas para testar a aplicação de regras, não saberemos se esses sistemas são capazes do tipo de raciocínio moral em que os humanos confiam em seus momentos mais difíceis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.