Resumen Técnico: ¿Primero el Crecimiento, luego el Cuidado? Trazando el Paisaje de las Preferencias de Valores de los LLM en Dilemas Cotidianos

Declaración del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLM) se vuelven cada vez más fluidos e intuitivos socialmente, los usuarios dependen de ellos no solo para la recuperación de información, sino también para recibir consejos en dominios personales, sociales y profesionales. Sin embargo, la búsqueda de consejos rara vez implica identificar una única respuesta correcta; en su lugar, requiere navegar por complejos compromisos entre valores contrapuestos. Las investigaciones existentes sobre las preferencias de valores de los LLM sufren de tres limitaciones primarias:

1. Benchmarks Sintéticos: Muchas evaluaciones dependen de escenarios generados por GPT construidos a partir de plantillas predefinidas, lo que limita la escalabilidad y la diversidad de los dilemas.
2. Validez Ecológica: Los benchmarks sintéticos a menudo no logran capturar cómo se manifiestan los compromisos de valor en entornos del mundo real.
3. Taxonomías de Arriba hacia Abajo (Top-Down): Los análisis suelen depender de marcos de valores predefinidos, lo que puede dejar muchos casos del mundo real sin representación o insuficientemente especificados.

Este estudio aborda estas brechas investigando cómo los LLM navegan los compromisos de valor a través de diferentes contextos de búsqueda de consejos utilizando datos del mundo real, con el objetivo de caracterizar las estructuras de valores subyacentes e identificar los riesgos potenciales de la homogeneización de valores en el asesoramiento mediado por IA.

Metodología

Recolección de Datos

Los autores aprovecharon un conjunto de datos curado de 5,728 dilemas del mundo real extraídos de cuatro subreddits orientados al consejo: r/AskMenAdvice, r/AskWomenAdvice, r/CareerAdvice y r/FriendshipAdvice. Cada publicación incluye una descripción textual de un dilema, dos opciones alternativas y los costos y beneficios asociados.

Extracción y Validación de Valores

Utilizando GPT-4o, el estudio extrajo el valor central que motiva cada opción dentro de los dilemas.

• Proceso: El modelo fue instruido para resumir el valor central (1 a 4 palabras) y proporcionar una justificación para cada opción.
• Validación: Una muestra aleatoria estratificada de 400 publicaciones (800 asignaciones de valores) fue revisada manualmente por dos autores. El acuerdo inter-annotador fue alto (Cohen's $\kappa = 0.833$), con un 92% de las asignaciones superando la validación, confirmando la fiabilidad de GPT-4o en este contexto.
• Resultado: Este proceso produjo 2,288 valores finos y únicos.

Marco de Valores Jerárquico de Abajo hacia Arriba (Bottom-Up)

En lugar de utilizar una taxonomía de arriba hacia abajo, los autores construyeron inductivamente un marco de valores jerárquico de cuatro niveles:

1. Nivel 0: 2,288 valores finos.
2. Nivel 1: 175 valores agrupados (mediante k-means clustering sobre embeddings).
3. Nivel 2: 33 valores intermedios.
4. Nivel 3: 4 dimensiones de valores de alto nivel.
   • Logro e Impacto
   • Benevolencia y Conexión
   • Seguridad y Estabilidad
   • Exploración y Crecimiento

La validez del marco fue confirmada mediante validación manual (92.4% de acuerdo entre anotadores al mapear valores de nivel inferior a categorías de nivel superior) y mostró una alineación conceptual sustancial con la teoría de los valores humanos básicos de Schwartz.

Evaluación de LLM

Tres LLM de última generación (GPT-4o, DeepSeek-V3.2-Exp y Gemini-2.5-Flash) fueron instruidos para elegir una opción para cada uno de los 5,728 dilemas.

• Controles: La temperatura se estableció en 0 para mayor estabilidad. Los efectos de orden fueron mitigados revirtiendo los órdenes de las opciones en un subconjunto de experimentos (el 92.5% de las elecciones permanecieron sin cambios).
• Métrica: Se calculó una tasa de victoria para cada valor de alto nivel. Esta métrica representa la proporción de veces que un modelo prefirió un valor específico sobre otro cuando ambos coexistían en el mismo dilema.
• Análisis: La significancia se evaluó mediante pruebas de bootstrap no paramétricas para comparar las preferencias entre modelos y contextos.

Contribuciones Clave

1. Pipeline Metodológico: Un pipeline escalable para evaluar las preferencias de valores de los LLM utilizando dilemas que ocurren orgánicamente en el mundo real, en lugar de benchmarks sintéticos.
2. Marco de Valores Basado en Datos: La construcción inductiva de un marco de valores jerárquico de cuatro niveles a partir de datos de redes sociales, ofreciendo una alternativa basada en datos a las taxonomías de arriba hacia abajo.
3. Hallazgos Empíricos: Evaluación sistemática de los LLM en dilemas del mundo real que revela sesgos de valores consistentes.
4. Lanzamiento de Dataset: Publicación del conjunto de datos anotado que contiene 5,728 dilemas, valores extraídos y elecciones de LLM para apoyar el análisis reproducible.

Resultados

RQ1: Estructuras de Compromiso de Valores en Subreddits

• Heterogeneidad: Las estructuras de compromiso de valores varían significamente entre contextos. El subreddit enfocado en mujeres (r/AskWomenAdvice) exhibió la mayor densidad de red, indicando conflictos de valores más complejos y diversos en comparación con otros subreddits.
• Patrones Comunes: Los subreddits de consejos para hombres, mujeres y amistad compartieron patrones de conflicto altamente correlacionados centrados en tensiones de Seguridad (ej., Seguridad vs. Respeto, Seguridad vs. Conexión).
• Estructuras Distintas: El consejo de carrera formó una estructura distinta donde la Seguridad chocaba frecuentemente con la Autorrealización y el Crecimiento.

RQ2: Preferencias de Valores de los LLM

A través de los tres modelos y en todos los contextos, se observó un sesgo consistente y sistemático:

• Exploración y Crecimiento vs. Benevolencia y Conexión: Los LLM priorizaron consistentemente la Exploración y el Crecimiento sobre la Benevolencia y la Conexión.
  • La Benevolencia y la Conexión fue el valor menos preferido en todos los modelos (tasas de victoria significativamente menores, $p < 0.001$).
  • La Exploración y el Crecimiento fue preferida consistentemente sobre la Seguridad y la Estabilidad y la Benevolencia y la Conexión.
• Matiz Contextual: Aunque la preferencia general por el Crecimiento sobre el Cuidado fue robusta, se notaron cambios específicos según el contexto. Los modelos otorgaron un mayor peso a la Seguridad y la Estabilidad en los consejos para mujeres en comparación con los de carrera, donde la Exploración y el Crecimiento se volvieron más prominentes.
• Consistencia de los Modelos: La preferencia por el Crecimiento sobre la Benevolencia se mantuvo constante en GPT-4o, DeepSeek-V3.2-Exp y Gemini-2.5-Flash, lo que sugiere que se trata de una orientación sistémica y no un artefacto específico de un modelo.

Significancia y Reivindicaciones

El artículo afirma que estos hallazgos resaltan un riesgo potencial de homogeneización de valores en el asesoramiento mediado por IA. Al priorizar consistentemente valores relacionados con el autodesarrollo, la autonomía y el crecimiento sobre el cuidado relacional, la conexión y la benevolencia, los LLM pueden moldear sutilmente la toma de decisiones y los resultados normativos a escala.

Los autores argumentan que, a medida que los usuarios dependen cada vez más de los LLM como sustitutos del consejo interpersonal, estas orientaciones de valores integradas podrían influir en cómo los individuos navegan los compromisos en sus vidas personales. El estudio no afirma que los LLM estén "equivocados", sino que no son neutrales en cuanto a valores; reflejan y potencialmente amplifican marcos normativos específicos (favoreciendo el crecimiento) mientras marginan otros (el cuidado relacional). Esto subraya la necesidad de procesos de evaluación robustos y estrategias de gobernanza para asegurar que los sistemas de IA no refuercen inadvertidamente sistemas de valores dominantes a expensas de la diversidad de perspectivas humanas.

El estudio concluye con modestia, reconociendo limitaciones como la simplificación de las opciones a un único valor dominante y la dependencia de un conjunto limitado de modelos. Hace un llamado a trabajos futuros para examinar las implicaciones derivadas, los resultados de los usuarios y la necesidad de juicios humanos diversos en el diseño de sistemas de IA que brindan consejos.