Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments

O Grande Mimetismo Moral: Quando os Robôs Concordam, mas Não Entendem

Imagine que você está ensinando um robô a ser uma boa pessoa. Você mostra a ele milhares de histórias sobre pessoas fazendo coisas certas ou erradas e pede que ele dê uma nota simples: "Bom" ou "Mau". Se o robô começar a dar exatamente as mesmas notas que seus amigos humanos, você pode pensar: "Ótimo! O robô aprendeu nossos valores!". Este é o mundo do alinhamento de IA, um campo onde cientistas tentam fazer com que a Inteligência Artificial (especificamente os Grandes Modelos de Linguagem, ou LLMs) se comporte de maneiras que correspondam às expectativas humanas.

Por muito tempo, a principal forma de verificar se uma IA está "alinhada" tem sido observar a resposta final. Se um humano diz: "Essa ação é errada", e a IA também diz: "Essa ação é errada", contamos isso como um sucesso. É como um aluno tirando a nota certa em uma prova de matemática; assumimos que ele fez a conta corretamente. Mas e se o aluno acertou a resposta por sorte, ou usando uma fórmula completamente diferente que apenas funcionou desta vez? No mundo da ética da IA, obter o rótulo correto não é suficiente. Precisamos saber por que a IA acha que algo é errado. Se o raciocínio interno da IA for totalmente diferente do nosso, ela pode agir de forma estranha quando confrontada com uma situação nova e complicada. Este artigo mergulha fundo nessa exata questão: os modelos de IA realmente entendem nossas razões morais ou estão apenas sendo muito bons em fingir?

A Grande Ilusão da "Resposta Certa"

Os pesquisadores por trás deste estudo, uma equipe da Universidade de Liubliana, decidiram colocar essa suposição da "resposta certa" à prova. Eles criaram um desafio especial usando 500 cenários morais, variando de dilemas cotidianos (como "É aceitável mentir para um amigo?") a enigmas filosóficos mais complexos sobre justiça e promessas. Eles pediram tanto a voluntários humanos quanto a diversos modelos de IA avançados que fizessem duas coisas para cada cenário: primeiro, dessem um veredito final (o "rótulo") e, segundo, explicassem seu raciocínio (a "razão").

Pense nisso como um jogo de "Duas Verdades e uma Mentira", mas em vez de adivinhar qual afirmação é falsa, você está tentando ver se a IA e o humano estão tendo os mesmos pensamentos. A equipe analisou dois grupos diferentes de modelos: os modelos "Frontier" (os superinteligentes, de última geração, como Claude e ChatGPT) e os modelos "Open" (versões de código aberto, um pouco menores).

Aqui está a reviravolta que encontraram: Os modelos de IA foram incrivelmente bons em acertar a nota final, mas frequentemente estavam errados sobre o porquê de estarem certos.

Quando os pesquisadores olharam apenas para os rótulos finais de "Bom" ou "Mau", os modelos de IA concordaram com a maioria humana de 88% a 89% das vezes. Essa é uma pontuação enorme! Se você estivesse verificando apenas as respostas finais, diria: "Perfeito! A IA está alinhada conosco". Mas então, os pesquisadores espiaram sob o capô para ver as explicações.

O "Porquê" Importa Mais do que o "O quê"

O estudo revelou que, embora a IA e os humanos muitas frequentemente cheguem ao mesmo destino, eles pegam caminhos completamente diferentes para chegar lá. Os autores chamam isso de "fundamentos morais divergentes".

Para usar uma analogia lúdica: Imagine que um humano e um robô estão ambos julgando uma pessoa que roubou um carro.

• O Humano pode dizer: "Isso é ruim porque a pessoa quebrou uma promessa ao proprietário e demonstrou falta de confiança". Ele está focando no relacionamento e na promessa quebrada.
• O Robô, no entanto, pode dizer: "Isso é ruim porque causa dano e é desrespeitoso". O robô está focando em dano e polidez.

Ambos dizem "Mau", então a nota final coincide. Mas sua lógica interna é totalmente diferente. O humano está pensando em um contrato social específico (promessas), enquanto o robô está pensando em segurança geral e boas maneiras.

O artigo descobriu que esse descompasso acontece o tempo todo. Na seção de "Deontologia" (que trata de deveres e regras), os humanos frequentemente observavam se uma desculpa era relevante para a regra. Por exemplo, se alguém diz: "Não posso passear com o cachorro porque o passei ontem", um humano pode dizer: "Essa desculpa é irrelevante; você ainda tem o dever hoje". Mas os modelos de IA frequentemente ignoravam a lógica da desculpa e apenas diziam: "Toda a situação é moralmente errada". A IA estava tão ocupada vendo a "erroneidade moral" do ato que esqueceu de verificar se a desculpa fazia sentido naquele contexto específico.

Os Números Não Mentem (Mas Não Contam a História Toda)

Os dados foram bastante claros. Quando os pesquisadores mediram o quanto o raciocínio da IA correspondia ao raciocínio dos humanos, as pontuações caíram significativamente.

• Para as regras morais de "Senso Comum", a IA e os humanos concordaram apenas sobre as razões específicas cerca de 35% das vezes (uma sobreposição de Jaccard de 0,350).
• Para as regras de "Deontologia", foi ainda pior, com apenas 23,5% de concordância sobre as razões.

Embora os modelos "Frontier" (os mais inteligentes) concordassem com os humanos na resposta final cerca de 88,9% das vezes, suas razões eram muitas vezes de um sabor totalmente diferente. Eles tendiam a usar excessivamente palavras como "dano" e "desrespeito" e a usar pouco palavras como "cumprimento de promessa" ou "confiança". É como se a IA tivesse um vocabulário muito estreito; ela vê quase todos os problemas como uma questão de segurança ou um gesto rude, perdendo as nuances sutis e relacionais que os humanos valorizam.

Por Que Isso Muda Tudo

A principal conclusão deste artigo é um aviso gentil: Concordância não é Alinhamento.

Só porque uma IA lhe dá a mesma resposta que você daria, não significa que ela entenda o mundo da mesma forma que você. Se verificarmos apenas as respostas finais, podemos ser induzidos a uma falsa sensação de segurança. Podemos pensar que nossa IA é uma companheira moral sábia, quando, na realidade, ela é apenas uma imitadora muito boa que usa um dicionário diferente.

Os autores sugerem que precisamos parar de olhar apenas para o "A" ou "F" na prova e começar a ler a redação. Precisamos perguntar à IA por que ela fez uma escolha. Se a IA diz que algo é errado porque é "inseguro", mas você acha que é errado porque é "injusto", isso é um problema. No mundo real, essas diferenças importam. Se uma IA estiver moderando uma sala de bate-papo ou dando aconselhamento jurídico, e estiver usando o "dano" como sua única lente quando os humanos estão pensando em "justiça" ou "promessas", ela pode tomar decisões que parecem certas na superfície, mas que parecem profundamente erradas para as pessoas envolvidas.

Portanto, da próxima vez que vir uma IA que parece concordar perfeitamente com você, lembre-se da lição deste estudo: Ela pode estar apenas jogando um jogo muito convincente de "Adivinhe a Resposta", sem realmente entender a história por trás dela. O caminho para uma IA verdadeiramente segura e útil não é apenas obter a nota certa; é compartilhar as mesmas razões.