The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

O caminho à frente para os carros autônomos não se trata mais apenas de evitar acidentes; trata-se de fazer escolhas quando os acidentes são inevitáveis. À medida que essas máquinas amadurecem ao ponto de poderem dirigir sozinhas sem ajuda humana, elas inevitavelmente enfrentarão situações em que um acidente é certo, e a única questão é quem será ferido. Este é a versão moderna de um antigo enigma filosófico conhecido como o problema do bonde, onde uma decisão deve ser tomada entre dois resultados ruins. Por décadas, filósofos debateram como uma pessoa deve agir em tais momentos, pesando o valor de diferentes vidas e a moralidade de tomar uma ação versus não fazer nada. Agora, engenheiros estão tentando ensinar computadores a fazer essas mesmas escolhas. O desafio não é apenas escrever um programa de computador que siga um conjunto de regras rígidas, mas ensinar uma máquina a compreender valores humanos, que são frequentemente desordenados, inconsistentes e profundamente emocionais.

Uma equipe de pesquisadores da Universidade de Stony Brook propôs-se a testar se uma máquina poderia aprender esses complexos valores humanos diretamente das pessoas, em vez de ser programada com um conjunto fixo de instruções. Eles construíram um sistema que chamam de Cabeça de Decisão Ética, uma camada especializada de software projetada para intervir quando um carro autônomo enfrenta um acidente iminente. Nesses momentos de frações de segundo, o carro deve decidir se segue seu curso, se desvia para a esquerda ou se desvia para a direita. Os pesquisadores queriam ver se poderiam treinar este sistema usando um método chamado aprendizado por reforço a partir de feedback humano. Em vez de dizer ao computador exatamente o que fazer, eles mostraram a ele 200 cenários de colisão e pediram a dois voluntários humanos que escolhessem o melhor resultado entre duas opções. O computador então aprendeu a imitar essas escolhas humanas, esperando internalizar a lógica moral por trás delas.

Para testar essa ideia, os pesquisadores criaram dois conjuntos diferentes de regras para o computador seguir. O primeiro baseava-se no utilitarismo, uma filosofia que diz que a ação correta é aquela que salva o maior número de vidas no total. O segundo baseava-se nas ideias de Immanuel Kant, um filósofo que argumentava que algumas ações são erradas não importa o resultado, como usar uma pessoa como ferramenta para salvar outras. Os pesquisadores treinaram seu sistema para aprender ambas as abordagens. Quando testaram o sistema com as regras kantianas, ele funcionou perfeitamente. O computador rapidamente aprendeu que a única jogada correta era nunca desviar para um pedestre, não importa o que acontecesse, e manteve-se fiel a essa regra sem falhar. Esse sucesso provou que o próprio sistema de treinamento estava funcionando corretamente e que o computador era capaz de aprender uma regra moral estrita.

No entanto, quando os pesquisadores mudaram para as regras utilitaristas, os resultados foram surpreendentemente diferentes. Eles esperavam que o computador aprendesse a minimizar o número total de ferimentos ao fazer a escolha matematicamente correta em cada cenário. Em vez disso, o computador aprendeu algo inteiramente diferente. Após analisar 200 diferentes cenários de colisão, o sistema falhou em escolher a opção de salvar vidas em quase metade dos casos. Em vez de minimizar as fatalidades, ele começou a favorecer um padrão de comportamento onde sacrificaria a si mesmo ou aos passageiros para evitar atingir ativamente um pedestre. Isso aconteceu porque os voluntários humanos que forneceram o feedback não escolheram a opção de salvar vidas tão frequentemente quanto as regras dos filósofos sugeriam que deveriam. As pessoas tendiam a preferir que o carro não fizesse nada ou se sacrificasse, mesmo que isso significasse que mais pessoas seriam feridas no total. Elas pareciam sentir que desviar ativamente para uma pessoa era pior do que deixar uma tragédia acontecer por acidente, uma tendência psicológica conhecida como viés de omissão.

O estudo revelou uma lacuna profunda entre o que as pessoas dizem acreditar em teoria e o que elas realmente recompensam na prática. Quando os pesquisadores removeram o feedback humano e treinaram o computador apenas com o objetivo matemático estrito de salvar vidas, ele tornou-se instantaneamente altamente preciso, escolhendo corretamente o caminho de salvar vidas em mais de 90 por cento dos casos. Isso provou que o computador era capaz de aprender a filosofia utilitarista, mas que o feedback humano o havia afastado desse objetivo. A máquina não falhou em aprender a ética; ela aprendeu a ética humana exatamente como os humanos a praticam, com todas as suas contradições e preconceitos emocionais. Os pesquisadores descobriram que, quando tentamos ensinar uma máquina a ser moral perguntando às pessoas o que elas preferem, podemos acabar ensinando-a a ser inconsistente, priorizando nossos sentimentos sobre o resultado real.

Esta descoberta sugere que simplesmente perguntar às pessoas o que elas querem pode não ser suficiente para construir um carro autônomo verdadeiramente ético. Se o objetivo é criar um sistema que consistentemente salve o maior número de vidas, confiar no feedback humano pode, na verdade, tornar o carro menos seguro, porque os humanos costumam preferir ações que parecem certas no momento, mas que levam a resultados piores no geral. O estudo não afirma ter resolvido o problema de como programar a moralidade em máquinas, mas mostra que o caminho é muito mais complicado do que simplesmente copiar as escolhas humanas. Ele destaca uma tensão fundamental: os valores que mantemos em nossas cabeças quando pensamos sobre ética não são sempre os mesmos que as escolções que fazemos quando somos solicitados a julgar uma situação real. Como o grupo de feedback humano consistia em apenas dois avaliadores, recrutados de uma população universitária geral, o que limita a generalização dos resultados, o estudo ressalta que, à medida que avançamos para um futuro onde as máquinas tomam decisões de vida ou morte, podemos precisar decidir se queremos que elas sigam nossos instintos humanos imperfeitos ou um conjunto de princípios mais rigorosos e consistentes.