Expected Moral Shortfall for Ethical Competence in Decision-making Models

Título: Déficit Moral Esperado (EMS) para Competência Ética em Modelos de Tomada de Decisão

1. O Problema

A inteligência artificial (IA) tornou-se ubíqua em decisões críticas (como empréstimos bancários, admissão universitária e alocação de recursos), mas carece de competência ética integrada. Embora existam esforços para criar sistemas de "moralidade artificial" (como o Moral Machine ou GenEth), a maioria é limitada a domínios específicos ou teorias éticas restritas.
O desafio central é integrar uma compreensão normativa do certo e do errado nos modelos de decisão de IA sem sacrificar excessivamente o desempenho do modelo ou a escalabilidade. A maioria das abordagens atuais ou é puramente consequencialista (focada em maximizar utilidade) ou depende de grandes corpora de dados que não garantem consistência teórica. Além disso, não há uma métrica padronizada para quantificar e minimizar o risco de falhas morais catastróficas em sistemas de aprendizado.

2. Metodologia

Os autores propõem uma abordagem interdisciplinar que combina ética normativa, matemática e aprendizado de máquina.

A. Discretização Matemática da Moralidade
O trabalho define a competência ética baseando-se em três teorias normativas principais, quantificadas através de pesos e contextos:

• Teorias Normativas: Consequencialismo ($\alpha$), Deontologia ($\beta$) e Ética das Virtudes ($\gamma$).
• Contexto (EC): Para cada ação, são calculados:
  • Consequências: Severidade, utilidade e duração.
  • Intenção (Deontologia): Adesão ao dever e direitos.
  • Princípios (Ética das Virtudes): Princípios mantidos ou violados.
• Julgamento Ético (EJ): Um escore calculado como uma soma ponderada dos fatores acima. Valores positivos indicam ações moralmente corretas, negativos indicam ações erradas e valores próximos de zero são "cinzentos".
• Limiar Sensível ao Contexto ($\tau$): Um limite dinâmico que define o que é aceitável, ajustado conforme a rigidez do domínio (ex: medicina exige limites mais estritos).

B. O Déficit Moral Esperado (EMS)
A contribuição central é a adaptação do conceito financeiro de Expected Shortfall (ES) para a ética, criando o Expected Moral Shortfall (EMS).

• Conceito: O EMS foca em minimizar o risco das piores falhas morais (os casos com os menores escores de julgamento ético), em vez de apenas maximizar a utilidade geral.
• Função de Perda: O EMS é incorporado à função de perda de modelos de aprendizado profundo (DNN) como um termo adicional:
  $$L = L_{BCE} + \lambda \cdot EMS$$
  Onde $L_{BCE}$ é a entropia cruzada binária padrão e $\lambda$ controla a influência da penalidade ética.
• Parâmetro $\theta$: Define a porcentagem dos casos "pior afetados" (os piores moralmente) que o modelo deve priorizar evitar. Um $\theta$ maior aplica restrições mais rígidas a mais casos, aumentando a segurança ética, mas potencialmente reduzindo a precisão geral.

C. Experimentação
Os autores testaram a metodologia em dois conjuntos de dados reais:

1. Admissão de Graduação: 770 candidatos (GRE, TOEFL, SOP, etc.).
2. Aprovação de Empréstimos: 32.582 registros (renda, histórico de crédito, intenção do empréstimo, etc.).

Foram comparadas três técnicas de integração ética:

1. Sobrescrita Pós-Hoc: Aplicar restrições rígidas após a previsão do modelo.
2. Penalidade nos Pesos: Adicionar termos de penalidade aos pesos das amostras.
3. Modificação da Função de Perda (EMS): Incorporar o EMS diretamente no treinamento (focado em Redes Neurais Profundas - DNN).

3. Principais Contribuições

1. Análise Comparativa: Avaliação de diferentes técnicas para instilar competência moral em modelos de aprendizado, medindo desempenho, complexidade e aderência ética.
2. Métrica EMS: Introdução de uma métrica matemática derivada da finanças para quantificar e minimizar o risco de falhas morais extremas, permitindo um equilíbrio flexível entre desempenho e ética.
3. Análise de Trade-offs: Demonstração de como ajustar o parâmetro $\theta$ permite aos engenheiros de IA escolher o nível de competência ética desejado, desde uma abordagem puramente utilitária até uma de segurança máxima (evitando catástrofes morais).
4. Abordagem Interdisciplinar: Integração de teorias éticas normativas (não apenas consequencialistas) em modelos de aprendizado de máquina através de mapeamento de características supervisionado por humanos.

4. Resultados

• Desempenho vs. Ética: A técnica de "Sobrescrita Pós-Hoc" garantiu a maior competência ética, mas resultou em uma queda drástica na precisão do modelo (ex: queda de ~98% para ~57% no dataset de admissão), pois ignorou o aprendizado do modelo.
• Penalidade de Pesos: A adição de penalidades em modelos como Random Forest causou grandes desvios nos resultados devido à sensibilidade a perturbações locais.
• EMS em DNN: O modelo de Rede Neural Profunda com a função de perda EMS manteve um alto desempenho enquanto incorporava restrições éticas.
  • Com $\theta = 0.05$ (foco nos piores 5% dos casos), o modelo manteve alta precisão (97.38% no dataset 1) e melhorou a métrica ROC AUC.
  • À medida que $\theta$ aumentou (aplicando restrições a mais casos), a precisão diminuiu, aproximando-se dos resultados da sobrescrita rígida, validando a teoria de que há um custo de desempenho para maior segurança ética.
• Flexibilidade: O modelo EMS demonstrou ser adaptável a diferentes domínios (educação e finanças) e teorias éticas, permitindo que o usuário ajuste os pesos ($\alpha, \beta, \gamma$) para refletir preferências filosóficas específicas.

5. Significado e Impacto

O trabalho oferece um framework prático para transformar sistemas de IA em agentes éticos explícitos, capazes de tomar decisões críticas com considerações morais embutidas.

• Impacto Social: A metodologia é crucial para domínios de alto risco (saúde, justiça, finanças), onde falhas morais podem ter consequências devastadoras para a vida humana e propriedade.
• Viabilidade Técnica: Ao usar o EMS como uma função de perda, o método permite que modelos complexos aprendam a evitar cenários moralmente catastróficos sem perder totalmente sua capacidade preditiva, superando a dicotomia entre "alta performance" e "alta ética".
• Limitações e Futuro: O estudo reconhece a dependência de mapeamento manual de características para traduzir dados empíricos em conceitos morais e a necessidade de especialistas em ética para calibrar os parâmetros. Futuras pesquisas visam expandir isso para conjuntos de dados maiores e automatizar parte do mapeamento.

Em resumo, o paper propõe que a "competência ética" na IA não deve ser um adendo, mas uma parte intrínseca da função de otimização do modelo, permitindo que a tecnologia minimize o "déficit moral" em vez de apenas maximizar a utilidade bruta.