Resumo Técnico: Todo Ato Tem Seu Preço: Composição Moral Comprimida em LLMs de Fronteira

Declaração do Problema

Os atuais benchmarks morais para Modelos de Linguagem de Grande Escala (LLMs) baseiam-se predominantemente em rankings de atos isolados. Nesses auditorias padrão, os modelos escolhem entre duas opções, cada uma contendo um único ato moral focal. Embora essa abordagem estabeleça efetivamente hierarquias de preferência para atos individuais ou fundamentos morais (ex: Cuidado, Justiça), ela falha em capturar como os modelos processam evidência moral composta.

A tomada de decisão moral no mundo real frequentemente envolve a comparação de opções onde múltiplos sinais morais coexistem dentro de uma única escolha (ex: uma opção que combina um ato extremamente positivo com uma violação leve versus uma opção com dois atos positivos moderados). As metodologades atuais não conseguem determinar se os modelos simplesmente somam esses sinais, desconsideram componentes secundários ou permitem que o ato mais forte domine toda a opção. Consequentemente, o ranking de um modelo para atos isolados não prevê necessariamente seus julgamentos quando esses atos são compostos. Este artigo aborda a lacuna na compreensão de como os LLMs de fronteira compõem múltiplos atos morais calibrados em julgamentos compostos.

Metodologia: MORAL TROLLEY ARENA

Para medir a composição moral, os autores introduzem o MORAL TROLLEY ARENA, um benchmark de ELO cego de dois estágios projetado para vincular a calibração ao nível do ato com o julgamento composto. O framework utiliza a Teoria dos Fundamentos Morais (MFT) cobrindo cinco fundamentos: Cuidado, Justiça, Lealdade, Autoridade e Santidade.

1. Construção de Cenários

O benchmark utiliza um corpus de 229 cenários morais centrados em pessoas derivados de vinhetas psicológicas estabelecidas (Clifford et al., 2015; Young & Saxe, 2011; Hofmann et al., 2014) e aumentados com casos âncora. Cada cenário é atribuído a um fundamento primário da MFT e a um rótulo de intensidade semântica variando de $-2$ (erro extremo) a $+2$ (virtude excepcional).

2. Protocolo de Arena de Dois Estágios

O benchmark opera através de duas arenas vinculadas usando um protocolo de atualização de ELO cego por pares (semelhante ao Chatbot Arena):

• Estágio A: Calibração de Cena Única

  • Objetivo: Estabelecer a "força do componente" para cada ato atômico.
  • Processo: Os 229 cenários são avaliados isoladamente via batalhas cegas de pares. Os rótulos de fundamento são ocultados do modelo.
  • Saída: Um score de ELO calibrado para cada cenário, representando seu peso moral independente de composição.

• Estágio B: Arena Composta

  • Objetivo: Medir como os modelos negociam múltiplos atos quando apresentados juntos.
  • Processo: Atos calibrados são combinados em itens morais de dois atos. Os autores construíram uma grade controlada de 160 perfis compostos cruzando todos os $\binom{5}{2}=10$ pares de fundamentos com 16 configurações de intensidade não neutras ($\{-2, -1, +1, +2\}^2$).
  • Protocolo: Modelos julgam 1.200 batalhas de composto-contra-composto. Os rótulos de fundamento permanecem ocultos.
  • Saída: Um score de ELO composto para cada perfil, refletindo o julgamento integrado do modelo.

3. Estrutura Analítica

Os autores analisam a relação entre os ELOs de Cena Única (força do componente) e os ELOs Compostos usando quatro sinais específicos:

1. Regra de Composição Comprimida: Testando se o ELO composto é uma função linear dos ELOs de componentes ($E_c = \beta(E_{s1} + E_{s2}) + \alpha$).
2. Resíduos de Fundamento: Medindo desvios da previsão linear após controlar a força do componente para identificar o peso específico de cada fundamento.
3. Ancoragem de Intensidade: Investigando efeitos não aditivos onde configurações de intensidade específicas (ex: $+2, -1$) geram resultados diferentes de outras com som de componentes correspondente (ex: $+1, +1$).
4. Convergência entre Modelos: Avaliando a correlação das superfícies de preferência compostas entre diferentes provedores de modelos.

Contribuições Principais

1. Benchmark MORAL TROLLEY ARENA: Um novo benchmark de ELO cego de dois estágios que desloca a auditoria moral de rankings de atos isolados para julgamentos sobre evidências morais compostas.
2. Caracterização de Regras de Composição: Os autores identificam que os julgamentos compostos seguem uma função linear comprimida das forças dos componentes, em vez de um modelo puramente aditivo.
3. Descoberta de Ancoragem de Intensidade: O estudo revela que os modelos exibem ancoragem de intensidade não aditiva, onde perfis com um componente positivo extremo e um componente negativo leve ($+2, -1$) superam perfis com dois componentes positivos moderados ($+1, +1$), apesar de possuírem som de componentes equivalentes.
4. Resíduos de Fundamento: Ao controlar a força do componente, os autores isolam resíduos limitados, encontrando um resíduo positivo para Lealdade e um resíduo negativo para Cuidado, enquanto outros fundamentos alinham-se de perto com as previsões lineares.
5. Convergência entre Provedores: As superfícies de preferência compostas mostram alta convergência (média de $r = 0,939$) entre dez modelos de fronteira de nove provedores diferentes, sugerindo que esses comportamentos de composição são propriedades compartilhadas pelos atuais modelos de fronteira.

Resultados

O estudo avaliou dez modelos de fronteira (incluindo Claude-Sonnet-4.6, GPT-5.2, Gemini-2.5-Pro, etc.), gerando um corpus de 29.134 julgamentos cego de pares.

• Integração Comprimida: Em todos os modelos, a inclinação ($\beta$) da relação linear entre as somas de componentes e os ELOs compostos foi consistentemente menor que 1 ($\bar{\beta} = 0,862$). Isso indica que os modelos comprimem a evidência moral combinada em vez de somá-la linearmente.
• Ancoragem de Intensidade: Uma desviação significativa da monotonicidade foi observada. Perfis com uma soma de intensidade de $s=+1$ (dominados por um par $+2/-1$) receberam ELOs compostos mais altos ($1098,4$) do que perfis com $s=+2$ (dominados por pares $+1/+1$, $1063,4$), apesar de terem somas de ELO de componentes quase idênticas. Isso sugere que a presença de uma âncora de alta intensidade impulsiona o julgamento mais do que a soma agregada.
• Resíduos de Fundamento: Ao controlar a força do componente, a Lealdade exibiu um resíduo positivo ($+9,58$), indicando que recebe peso extra em julgamentos compostos. Por outro lado, o Cuidado mostrou um resíduo negativo ($-9,22$).
• Convergência: Os vetores de ELO composto de 160 dimensões entre os modelos foram altamente correlacionados (média $r=0,939$), indicando que o comportamento de composição elicitado é robusto entre diferentes arquiteturas de modelos e pipelines de treinamento.

Significância e Alegações

O artigo argumenta que as auditorias morais devem evoluir além da verificação de rankings de atos isolados para medir regras de composição. As descobertas sugerem que:

• Rankings simples são insuficientes: A preferência de um modelo por atos isolados não prevê totalmente seu comportamento quando múltiplos sinais morais estão presentes na mesma opção.
• A composição é não linear: Os modelos não apenas somam valores morais; eles comprimem a evidência e são influenciados pela ancoragem de intensidade.
• Primitivos Comportamentais Compartilhados: A consistência dessas regras de composição entre diversos modelos de fronteira implica que estas são propriedades fundamentais das arquiteturas atuais de LLM, o que tem implicações para como a evidência moral se acumula, domina ou se cancela em sociedades de agentes complexos e pipelines de propagação de viés.

Os autores mantêm um escopo modesto, observando que o benchmark mede escolhas reveladas sob o enquadramento de "trolley" forçado e não constitui uma teoria completa da moralidade do modelo. Eles reconhecem limitações quanto à escala de intensidade de 5 níveis, ao uso de rótulos de intensidade por LLMs e à exclusão de modelos menores de pesos abertos e configurações multilíngues.