Resumen Técnico: El Prompting Ocupacional Revela el Sesgo Cultural en los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Si bien investigaciones previas han establecido que los Modelos de Lenguaje de Gran Escala (LLM) exhiben sesgos culturales —específicamente una tendencia predeterminada hacia lo occidental cuando se les solicita mediante prompts genéricos o con indicadores basados en la nacionalidad—, el alcance de la influencia de las identidades ocupacionales en la expresión de valores aún no está claro. Los roles sociales conllevan suposiciones sobre formación, estatus y normas institucionales que moldean el juicio humano. Dado que los LLM se despliegan cada vez más en flujos de trabajo profesionales y de apoyo a la toma de decisiones, es crítico determinar si los modelos atribuyen orientaciones de valor cultural sistemáticas a las identidades ocupacionales y si estas asociaciones producen cambios predecibles en los resultados del modelo. Los marcos existentes para medir el sesgo cultural se han centrado principalmente en el prompting basado en la nacionalidad, dejando un vacío en la comprensión de cómo los indicadores de roles profesionales por sí solos moldean las estructuras de valores latentes.

Metodología

Los autores extienden el marco de alineación cultural basado en encuestas introducido por Tao et al. [17] para investigar el prompting ocupacional. El estudio utiliza el siguiente proceso:

1. Construcción del Espacio de Referencia (Benchmark): Los autores utilizan las Encuestas de Valores Integrados (IVS), armonizando datos de la Encuesta de Valores Mundiales (WVS) y del Estudio de Valores Europeos (EVS). Aplican un Análisis de Componentes Principales (PCA) con rotación varimax a diez ítems de encuesta específicos para generar un espacio cultural canónico bidimensional definido por las dimensiones de Inglehart–Welzel: Supervivencia vs. Autoexpresión y Tradicional vs. Secular.
2. Conjunto de Datos Ocupacional: Se generó un conjunto curado de 234 ocupaciones utilizando ChatGPT Pro, anotado con metadatos sobre sector, dominio, nivel educativo y campo. Este conjunto de datos cubre roles profesionales, técnicos, de servicios, científicos y de oficios especializados.
3. Evaluación del Modelo: Se evaluaron cinco LLM de pesos abiertos: Llama 3.3 (70B), Llama 4 (16×17B), Gemma 3 (27B), GPT-OSS (20B) y GPT-OSS (120B).
4. Estrategia de Prompting: En lugar de prompts genéricos o basados en la nacionalidad, los modelos fueron condicionados con identidades ocupacionales (por ejemplo, "Eres un ser humano promedio que trabaja como contador..."). Los modelos respondieron a los mismos diez ítems de la IVS bajo estas restricciones de rol específicas.
5. Proyección y Análisis: Las respuestas de los modelos fueron estandarizadas, proyectadas en el espacio cultural de la IVS y promediadas a través de las variantes de descriptor-respondiente. Las coordenadas resultantes se analizaron en dos niveles:
   • Nivel de Dominio: Agrupando ocupaciones en campos más amplios (por ejemplo, "ciberseguridad", "educación").
   • Nivel de Ocupación: Analizando roles individuales.
   • Asignación: Se asignaron puntos a categorías culturales de referencia (por ejemplo, Europa Protestante, Confuciano, Africano-Islámico) mediante la correspondencia de distancia euclidiana de centroide más cercano.

Contribuciones Principales

El artículo realiza cuatro contribuciones primarias:

1. Extensión del Marco: Extiende la evaluación del sesgo cultural basado en encuestas del prompting basado en la nacionalidad al prompting ocupacional, utilizando identidades profesionales como sondas de las estructuras de valores latentes.
2. Mapeo Cultural: Proyecta las respuestas condicionadas por ocupación de múltiples LLM de pesos abiertos en el espacio cultural de Inglehart–Welzel, analizando la distribución de ocupaciones específicas y grupos de ocupaciones.
3. Análisis Estructural: Investiga tanto ocupaciones individuales como agrupaciones basadas en metadatos, revelando patrones estructurales de alto nivel a través de dominios y atributos relacionados.
4. Comparación de Modelos: Compara múltiples LLM de pesos abiertos dentro del mismo proceso para distinguir entre patrones ocupacionales consistentes y comportamientos específicos del modelo.

Resultados

El estudio arroja varios hallazgos clave sobre cómo los LLM asocian las ocupaciones con los valores culturales:

• Sesgo Occidental Persistente: Cuando se les solicita con identidades ocupacionales, las respuestas de los LLM generalmente permanecen dentro de una región ampliamente orientada hacia Occidente en el mapa cultural (específicamente en el lado de la autoexpresión). El prompting ocupacional no elimina el sesgo occidental observado en el prompting genérico, pero introduce variación dentro de esta región.
• Desviaciones Ocupacionales Distintas: Diferentes ocupaciones inducen desplazamientos sistemáticos dentro del clúster occidental:
  • Autoexpresión/Europa Protestante: Los dominios creativos, sociales, educativos y orientados al diseño (por ejemplo, asesoramiento, diseño visual, investigación educativa) se agrupan cerca de la región de Europa Protestante.
  • Secular/Confuciano: Los dominios técnicos, financieros, de riesgo y de seguridad (por ejemplo, contabilidad, ciberseguridad, análisis de inteligencia) se desplazan hacia arriba hacia el lado secular, más cerca de la región Confuciana.
  • Tradicional/Angloparlante: Los dominios religiosos (por ejemplo, teología) se mueven hacia abajo hacia el lado tradicional, alineándose a menudo más cerca de las coordenadas de los países angloparlantes.
  • Roles de Autoridad y Centrales: Los roles orientados a la autoridad e instituciones (por ejemplo, policía, militares, judicatura) ocupan posiciones centrales, a menudo cerca de los límites de Europa Católica, Europa Ortodoxa o Asia Occidental y Meridional.
• Cobertura Asimétrica: El mapa cultural no está cubierto simétricamente por los prompts ocupacionales. Europa Protestante es la región más accesible, alcanzable por una diversidad de roles. En contraste, regiones como África-Islam o América Latina y Asia Occidental y Meridional solo se aproximan a través de un conjunto estrecho y repetitivo de indicadores, que involucran principalmente a figuras de autoridad (militares, policía, jueces) o líderes religiosos.
• Varianza del Modelo: Aunque la tendencia general del sesgo occidental es consistente, diferentes modelos utilizan distintos "senderos ocupacionales" para aproximarse al mismo centroide cultural. Por ejemplo, los modelos varían en si asocian los valores "Confucianos" con roles de seguros, ciberseguridad o oficios militares.

Significado y Reivindicaciones

El artículo sostiene que los prompts ocupacionales no son tratados como etiquetas de rol neutrales por los LLM. En su lugar, elicitan patrones estructurados de expresión de valores, lo que indica que los modelos asocian dominios profesionales específicos con perfiles de valores culturales distintos a lo largo de los ejes de Inglehart–Welzel.

Los autores posicionan este trabajo como una expansión necesaria de la evaluación del sesgo cultural más allá de la nacionalidad. Argumentan que, debido a que los descriptores ocupacionales son comunes en el prompting del mundo real (incluso sin indicadores culturales o nacionales explícitos), comprender estas asociaciones es vital para entornos donde los LLM apoyan la auditoría, la toma de decisiones o el razonamiento profesional. El estudio proporciona un marco para medir cómo los LLM organizan la información de los roles sociales en estructuras de valores latentes, advirtiendo que estas proyecciones reflejan las asociaciones internas del modelo más que los valores culturales reales de las profesiones del mundo real.

Los autores señalan explícitamente las limitaciones: el conjunto de datos de ocupaciones fue curado por un LLM (sirviendo como un marco analítico en lugar de una verdad de terreno), la evaluación depende de respuestas de elección forzada de formato corto, y las proyecciones miden la organización del modelo en relación con un mapa de referencia en lugar de las distribuciones demográficas del mundo real.