Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

Resumo Técnico: Auditoria de Robôs Sociais Governados por LLMs com Gradientes Morais Específicos de Cultura

Declaração do Problema
Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais integrados em robôs sociais para permitir a tomada de decisão quase autônoma em ambientes de recursos limitados, como priorizar quem recebe assistência escassa primeiro. Embora as normas de priorização moral variem significativamente entre culturas com base na idade, status e tamanho do grupo, as auditorias morais de LLMs atuais permanecem predominantemente centradas no inglês e falham em testar contextos incorporados (embodied). Isso cria uma lacuna diagnóstica: sem uma calibração pluralista, os robôs governados por LLMs correm o risco de impor padrões uniformes que escalam para acessos desiguais e prejudicam o bem-estar dos usuários em diversos contextos culturais. Os quadros de avaliação existentes frequentemente tratam o pluralismo cultural como uma preocupação secundária ou dependem de benchmarks eurocêntricos, deixando inexaminados os riscos específicos de governança das políticas de alocação de robôs-LLM.

Metodologia
Os autores introduzem um framework de auditoria baseado em gradientes, projetado para avaliar o comportamento de trocas morais (trade-off) de LLMs contra gradientes de preferência específicos de cultura. A metodologia procede em duas fases:

1. Construção de Cenários e Fundamentação:

   • Base de Evidências: O estudo deriva cenários de nove revisões sistemáticas de literatura cobrindo mais de 8.000 estudos em robótica social, identificando três domínios de alto risco: Cuidado (saúde/doméstico), Educação e Serviços ao Público.
   • Adaptação de Dilemas: O framework adapta o "Experimento Moral Machine" (MME), transformando seus dilemas fatais de "quem poupar" em cenários de alocação não fatais de "quem auxiliar primeiro". Três eixos centrais são preservados: Muitos vs. Poucos (MF), Jovem vs. Velho (YO) e Maior vs. Menor Status (HL).
   • Benchmarks Culturais: A auditoria compara as decisões dos LLMs com os MME_Scores, que são AMCEs (Average Marginal Component Effects) minimamente normalizados que servem como uma base descritiva para a força da preferência entre países, não como uma verdade normativa.
   • Configuração Experimental: O estudo audita quatro LLMs (GPT-4o, DeepSeek R1, Mistral Large, Gemini 2.0 Flash Lite) através de quatro pares de país-idioma (EUA-Inglês, China-Chinês, Japão-Japonês, México-Espanhol).
   • Regimes de Prompting: Quatro estratégias de prompting são testadas: PLAIN (sem contexto), Calibração Cultural (CC, apenas contexto de implantação), Zero-Shot Chain-of-Thought (ZSCoT) e Few-Shot Chain-of-Thought (FSCoT, adicionando exemplares culturais contrastivos).
   • Escala: O experimento gera 57.600 decisões (100 amostras por condição ao longo de 144 condições de prompt).

2. Métricas de Avaliação (Análise de Duas Camadas):

   • Camada 1 (Concordância de Gradiente): Utiliza $\tau$ de Kendall e $\rho$ de Spearman para testar se os LLMs diferenciam entre países em uma ordem consistente com os gradientes de preferência documentados do MME.
   • Camada 2 (Tipologia de Governança): Analisa células individuais para caracterizar modos de falha em três dimensões:
     • Diferenciação: O modelo rastreia gradientes, apaga-os ou inverte-os?
     • Direção: A saída favorece a opção preferida pela maioria (território A) ou o oposto (território B)?
     • Deliberação: A saída é variável ou determinística (colapsando para uma regra fixa)?
   • Essas dimensões combinam-se em uma tipologia de governança de sete bins, variando de "Calibrado" (melhor) a "Rigidez de Não-Rastreamento" (pior).

Principais Resultados

• Falha Geral de Diferenciação: Os LLMs falham amplamente em diferenciar contextos culturais em trocas morais. A concordância de gradiente geral através de 864 comparações de pares de países é próxima de zero ($\tau = +0,086$).
• Assimetria Cultural: A qualidade da calibração é quase duas vezes mais forte para decisões em línguas ocidentais (Inglês/Espanhol) do que para Chinês e Japonês. Condições não ocidentais enfrentam riscos de má calibração desproporcionais.
• Variabilidade de Modelos:
  • Mistral Large emerge como um outlier significativo, mostrando concordância significativa ($\tau = +0,315$) e as menores taxas de apagamento de gradiente e rigidez determinística.
  • GPT-4o exibe as maiores taxas de "Apagamento de Gradiente" (52,1%), produzindo saídas idênticas independentemente do contexto cultural, particularmente em cenários de "Muitos vs. Poucos".
  • DeepSeek R1 mostra a maior instabilidade, com concordância negativa e posturas de alocação contraditórias entre idiomas.
• Efeitos de Prompting: O prompting sozinho é insuficiente para corrigir de forma confiável as lacunas transculturais.
  • FSCoT (Few-Shot Chain-of-Thought com exemplares contrastivos) produz os ganhos mais consistentes no rastreamento de gradientes, particularmente para línguas não ocidentais.
  • ZSCoT (Zero-Shot Chain-of-Thought) reduz o determinismo, mas frequentemente piora o rastreamento de gradiente, sugerindo que a capacidade de raciocínio sem ancoragem cultural pode levar a ordenações incorretas.
• Modos de Falha:
  • Apagamento de Gradiente: Comum em dilemas de "Muitos vs. Poucos", onde os modelos aplicam um padrão utilitário rígido, independentemente da nuance cultural.
  • Inversão de Gradiente: Os modelos diferenciam, mas na ordem errada, ou aplicam regras morais opostas baseadas no domínio (ex: favorecendo menor status em Cuidado, mas maior status em Serviços).
  • Determinismo: Mais de 50% das células produzem saídas totalmente determinísticas, indicando um colapso da incerteza moral e da sensibilidade ao contexto.

Significância e Alegações
O artigo afirma contribuir com um instrumento de auditoria multilíngue e fundamentado em domínios que torna a postura cultural do LLM legível e mensurável antes da implantação. Sua principal significância reside em:

1. Mudança do Foco da Auditoria: Mover da simples detecção de viés para a avaliação do rastreamento de gradiente — se os modelos modulam a força de suas preferências de acordo com o contexto cultural, em vez de apenas a direção.
2. Tipologização de Riscos de Governança: Fornecer um framework para distinguir diferentes modos de falha (ex: cegueira cultural vs. sensibilidade mal calibrada vs. padrões rígidos), o que informa estratégias de mitigação direcionadas.
3. Alavancas de Nível de Modelo vs. Nível de Prompt: Os resultados sugerem que fatores de nível de modelo (ex: diversidade de dados de treinamento, arquitetura) são alavancas mais robustas para calibração pluralista do que o prompting em tempo de inferência. Embora exemplares contrastivos ajudem, eles não podem compensar totalmente modelos que carecem de sensibilidade transcultural inerente.
4. Portão Pré-Implantação: Os autores posicionam esta auditoria como um portão necessário para a governança de robôs-LLM, argumentando que, sem tal avaliação pluralista, a implantação desses sistemas corre o risco de consolidar acessos desiguais e minar a legitimidade processual em cenários globais.

O estudo mantém uma postura modesta, esclarecendo que utiliza os dados do MME como um baseline descritivo de tendências populacionais, e não como uma prescrição normativa para o comportamento do robô. Não pretende resolver o alinhamento moral, mas sim tornar visíveis e tipificáveis os riscos de desalinhamento para adjudicação posterior.