Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

Resumo Técnico: Perfilamento de Virtudes Aristotélicas de LLMs através de Dilemas Éticos

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram saídas que priorizam considerações éticas conflitantes, como a veracidade versus a tato, ou a justiça estrita versus a flexibilidade contextual. Os métodos de avaliação tradicionais frequentemente tratam esses comportamentos como binários "certo" ou "errado", obscurecendo a estrutura subjacente da tomada de decisão ética. Os autores argumentam que um modelo que favorece o compromisso cuidadoso não é necessariamente menos ético do que um que favorece a divulgação direta; em vez disso, ele pode expressar um perfil ético distinto. O desafio é ir além dos julgamentos de rótulo único para um framework descritivo que capture essas disposições matizadas sem alegar que os modelos possuam um caráter moral literal.

Metodologia: O Framework VirtueMap
O artigo introduz o VirtueMap, um framework que perfila modelos (e humanos) usando uma lente da ética das virtudes aristotélica. Em vez de selecionar uma única resposta "correta", o sistema exige que os participantes classifiquem todas as cinco respostas de um conjunto de dilemas éticos da mais para a menos eticamente preferível.

• Virtudes e Dilemas: O framework perfila cinco virtudes aristotélicas: Sabedoria Prática (phronesis), Justiça (dikaiosyne), Veracidade (aletheia), Coragem (andreia) e Temperança (sophrosyne). O instrumento consiste em sete dilemas gerais, não letais, não políticos e não religiosos (ex: "Erro em Planilha", "Exceção de Prazo"), cada um oferecendo cinco respostas distintas (A–E).
• Validação pelo Senso Comum: Para estabelecer uma chave de pontuação, os autores propuseram uma ordenação das cinco respostas para cada par dilema-virtude, representando a ordem da "mais para a menos expressiva" de tal virtude. Essas ordenações foram validadas via questionários online com mais de 100 respondentes por ordenação. Uma ordenação foi retida como "verdade fundamental operacional" apenas se pelo menos 95% dos respondentes a confirmassem (com $N > 100$). Isso garante que a chave de pontuação dependa do reconhecimento do senso comum sobre a relevância da virtude, em vez da intuição dos autores.
• Mecanismo de Pontuação: As classificações são pontuadas contra as ordenações de expressão de virtude retidas usando alinhamento Borda Normalizado.
  • Pesos Borda (5, 4, 3, 2, 1) são atribuídos às classificações.
  • O alinhamento bruto $A(d, v)$ é o produto escalar das pontuações Borda da classificação observada e da ordenação da virtude.
  • Esta pontuação bruta é normalizada para uma escala de 0–100, onde 55 representa concordância perfeita com a ordenação da virtude e 35 representa reversão completa.
  • A pontuação final para uma virtude é a média dessas pontuações normalizadas em todos os dilemas respondidos.
• Protocolo de Avaliação de LLM: Os autores avaliaram nove famílias de LLM (GPT, Claude, Gemini, Llama, DeepSeek, Mistral, MiniMax, Grok, Qwen) via OpenRouter. Para considerar a estocasticidade, a avaliação foi sequencial: os modelos foram executados múltiplas vezes (até 10) até que o intervalo de confiança de 95% de metade da largura caísse abaixo de 5,0 pontos percentuais ou a consistência atingisse 95%. O perfil relatado é a média empírica dessas execuções repetidas.

Principais Contribuições

1. Instrumento de Classificação Ética: Uma nova ferramenta fundamentada em virtudes aristotélicas que exige a ordenação completa das respostas em vez da seleção de uma única opção.
2. Critério de Validação: Um mecanismo de validação por senso comum para as ordenações de resposta baseado em um limiar alto (>95%) de confirmação humana, separando a questão do que uma opção expressa do que um modelo prefere.
3. Regra de Pontuação Explícita: Um método matematicamente definido (alinhamento Borda Normalizado) para converter classificações em perfis de virtude contínuos.
4. Suíte de Perfilamento de Execução Repetida: Uma metodologia que trata a estocasticidade do LLM como parte da medição, relatando médias empíricas e intervalos de consistência em vez de snapshots de execução única.
5. Implementação Interativa: Um website baseado em navegador que computa perfis localmente, permitindo que os usuários comparem suas próprias classificações contra os perfis medidos de LLMs.

Resultos
A avaliação produziu 44 execuções completas de questionário válidas em nove famílias de modelos.

• Consistência: A consistência média de classificação entre os modelos foi de 90,3%, indicando alta estabilidade na forma como os modelos classificam as respostas em execuções repetidas.
• Perfis de Virtude: A maior pontuação média entre todos os modelos foi para Sabedoria Prática (90,4), seguida por Veracidade (82,3), Justiça (80,5), Coragem (78,0) e Temperança (76,9).
• Variabilidade: As maiores diferenças entre modelos foram observadas em Coragem (intervalo de 10,95), Temperança (intervalo de 10,26) e Justiça (intervalo de 9,70).
• Especificidades dos Modelos: Qwen pontuou mais alto em Sabedoria Prática; MiniMax em Justiça; Claude em Veracidade e Coragem; e GPT em Temperança.
• Visualização: Os resultados são visualizados como gráficos de pentágono, destacando que, embora os modelos convirjam na Sabedoria Prática (frequentemente preferindo opções equilibradas), eles divergem significativamente em dimensões que exigem intervenção (Coragem) ou restrição (Temperança).

Significância e Alegações
O artigo posiciona o VirtueMap como uma ferramenta descritiva, não um teste de valor moral. Sua principal significância reside na mudança da avaliação ética da busca por um único rótulo correto para a identificação da "disposição expressa por um padrão de escolhas".

• Interpretabilidade: O framework fornece um sistema de coordenadas interpretável por humanos, permitindo a comparação de modelos que podem evitar respostas prejudiciais, mas diferem em sua priorização de valores (ex: divulgação via prompt vs. atraso cauteloso).
• Limitações: Os autores declaram explicitamente que os resultados não implicam que os LLMs possuam literalmente virtudes. Os perfis são específicos ao escopo do questionário (sete dilemas, cinco virtudes) e devem ser vistos como padrões de resposta observados sob um protocolo específico, não como propriedades fixas dos modelos. Os autores reconhecem potenciais limitações quanto ao viés de confirmação na etapa de validação e à natureza de subconjunto operacional das virtudes selecionadas.

O trabalho contribui para a literatura sobre IA e ética das virtudes ao tornar as virtudes aristotélicas o espaço de representação primário para o perfilamento do comportamento do modelo, em vez de tratá-las meramente como uma lente teórica ou uma subcategoria de benchmarks morais mais amplos.