Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

Resumen Técnico: Auditoría de Robots Sociales Gobernados por LLM con Gradientes Morales Específicos de la Cultura

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) se están integrando cada vez más en robots sociales para permitir la toma de decisiones cuasi-autónoma en entornos de recursos limitados, como la priorización de quién recibe asistencia escasa primero. Mientras que las normas de priorización moral varían significamente entre culturas basadas en la edad, el estatus y el tamaño del grupo, las auditorías morales actuales de los LLM siguen siendo predominantemente centradas en el inglés y no logran evaluar contextos encarnados. Esto crea una brecha diagnóstica: sin una calibración pluralista, los robots gobernados por LLM corren el riesgo de imponer valores predeterminados uniformes que se escalen en un acceso desigual y perjudiquen el bienestar del usuario en entornos culturales diversos. Los marcos de evaluación existentes suelen tratar el pluralismo cultural como una preocupación secundaria o dependen de referentes (benchmarks) eurocéntricos, dejando sin examinar los riesgos de gobernanza específicos de las políticas de asignación de los robots gobernados por LLM.

Metodología
Los autores introducen un marco de auditoría basado en gradientes diseñado para evaluar el comportamiento de intercambio moral de los LLM frente a gradientes de preferencia específicos de la cultura. La metodología procede en dos fases:

1. Construcción de Escenarios y Anclaje:

   • Base de Evidencia: El estudio deriva escenarios de nueve revisiones sistemáticas de literatura que cubren más de 8,000 estudios en robótica social, identificando tres dominios de alto riesgo: Cuidado (atención médica/hogar), Educación y Servicios al Público.
   • Adaptación de Dilemas: El marco adapta el "Experimento de la Máquina Moral" (MME), transformando sus dilemas fatales de "a quién salvar" en escenarios de asignación no fatales de "a quién asistir primero". Se preservan tres ejes centrales: Muchos vs. Pocos (MF), Jóvenes vs. Viejos (YO) y Estatus Alto vs. Bajo (HL).
   • Referentes Culturales: La auditoría compara las decisiones de los LLM con los MME_Scores, que son efectos marginales componentes promedio (AMCEs) normalizados min-max derivados de 117 países. Estos puntajes sirven como una línea base descriptiva para la fuerza de la preferencia transnacional, no como una verdad normativa.
   • Configuración Experimental: El estudio audita cuatro LLM (GPT-4o, DeepSeek R1, Mistral Large, Gemini 2.0 Flash Lite) a través de cuatro pares de país-idioma (EE. UU.-Inglés, China-Chino, Japón-Japonés, México-Español).
   • Regímenes de Prompting: Se prueban cuatro estrategias de prompting: PLAIN (sin contexto), Calibración Cultural (CC, solo contexto de despliegue), Zero-Shot Chain-of-Thought (ZSCoT) y Few-Shot Chain-of-Thought (FSCoT, añadiendo ejemplares culturales contrastivos).
   • Escala: El experimento genera 57,600 decisiones (100 muestras por condición a través de 144 condiciones de prompt).

2. Métricas de Evaluación (Análisis de Dos Capas):

   • Capa 1 (Concordancia de Gradiente): Utiliza $\tau$ de Kendall y $\rho$ de Spearman para probar si los LLM diferencian entre países en un orden consistente con los gradientes de preferencia documentados del MME.
   • Capa 2 (Tipología de Gobernanza): Analiza celdas individuales para caracterizar los modos de falla a través de tres dimensiones:
     • Diferenciación: ¿El modelo rastrea gradientes, los borra o los invierte?
     • Dirección: ¿El resultado favorece la opción preferida por la mayoría (territorio A) o la opuesta (territorio B)?
     • Deliberación: ¿El resultado es variable o determinista (colapsando a una regla fija)?
   • Estas dimensiones se combinan en una tipología de gobernanza de siete categorías que va desde "Calibrado" (el mejor) hasta "Rigidez de No Seguimiento" (el peor).

Resultados Clave

• Falla General de Diferenciación: Los LLM fallan mayoritariamente en diferenciar entre contextos culturales en los intercambios morales. La concordancia de gradiente general a través de 864 comparaciones de pares de países es cercana a cero ($\tau = +0.086$).
• Asimetría Cultural: La calibración de calidad es casi el doble de fuerte para las decisiones en lenguas occidentales (inglés/español) en comparación con el chino y el japonés. Las condiciones no occidentales enfrentan riesgos de descalibración desproporcionados.
• Variabilidad de los Modelos:
  • Mistral Large emerge como un valor atípico significativo, mostrando una concordancia significativa ($\tau = +0.315$) y las tasas más bajas de borrado de gradiente y rigidez determinista.
  • GPT-4o exhibe las tasas más altas de "Borrado de Gradiente" (52.1%), produciendo salidas idénticas independientemente del contexto cultural, particularmente en escenarios de "Muchos vs. Pocos".
  • DeepSeek R1 muestra la mayor inestabilidad, con concordancia negativa y posturas de asignación contradictorias a través de los idiomas.
• Efectos del Prompting: El prompting por sí solo es insuficiente para corregir de manera confiable las brechas transculturales.
  • FSCoT (Few-Shot Chain-of-Thought con ejemplares contrastivos) produce las ganancias más consistentes en el seguimiento de gradientes, particularmente para lenguas no occidentales.
  • ZSCoT (Zero-Shot Chain-of-Thought) reduce el determinismo pero a menudo empeora el seguimiento del gradiente, sugiriendo que la capacidad de razonamiento sin anclaje cultural puede conducir a un ordenamiento incorrecto.
• Modos de Falla:
  • Borrado de Gradiente: Común en dilemas de "Muchos vs. Pocos", donde los modelos aplican un valor utilitario rígido independientemente del matiz cultural.
  • Inversión de Gradiente: Los modelos diferencian, pero en el orden incorrecto, o aplican reglas morales opuestas según el dominio (por ejemplo, favorecer el estatus bajo en Cuidado pero el estatus alto en Servicios).
  • Determinismo: Más del 50% de las celdas producen salidas totalmente deterministas, lo que indica un colapso de la incertidumbre moral y la sensibilidad al contexto.

Significancia y Reivindicaciones
El artículo afirma contribuir con un instrumento de auditoría multilingüe y fundamentado en el dominio que hace legible y medible la postura cultural de los LLM antes de su despliegue. Su principal significancia radica en:

1. Cambio del Foco de la Auditoría: Pasar de la simple detección de sesgos a la evaluación del seguimiento de gradientes —si los modelos modulan la fuerza de sus preferencias según el contexto cultural, en lugar de solo la dirección.
2. Tipologización de Riesgos de Gobernanza: Proporcionar un marco para distinguir entre diferentes modos de falla (por ejemplo, ceguera cultural vs. sensibilidad mal calibrada vs. valores predeterminados rígidos), lo que informa estrategias de mitigación dirigidas.
3. Palancas a Nivel de Modelo vs. Nivel de Prompt: Los resultados sugieren que los factores a nivel de modelo (por ejemplo, diversidad de datos de entrenamiento, arquitectura) son palancas más robustas para la calibración pluralista que el prompting en tiempo de inferencia por sí solo. Aunque los ejemplares contrastivos ayudan, no pueden compensar totalmente a los modelos que carecen de una sensibilidad transcultural inherente.
4. Filtro de Pre-Despliegue: Los autores posicionan esta auditoría como un filtro necesario para la gobernanza de los robots con LLM, argumentando que sin esta evaluación pluralista, el despliegue de estos sistemas corre el riesgo de consolidar el acceso desigual y socavar la legitimidad procedimental en entornos globales.

El estudio mantiene una postura modesta, aclarando que utiliza los datos de MME como un referente descriptivo de las tendencias de la población en lugar de una prescripción normativa para el comportamiento del robot. No pretende resolver la alineación moral, sino hacer visibles y tipificables los riesgos de desalineación para la adjudicación posterior.