Resumen Técnico: Más allá de la elicitación de valores: hacia perfiles morales en la ingeniería de requisitos temprana mediante juegos de rol y modelos de lenguaje grandes antropólogos

Declaración del Problema

Los enfoques actuales para integrar valores humanos en la Ingeniería de Software (SE) y la Ingeniería de Requisitos (RE) enfrentan limitaciones significativas. Los métodos tradicionales suelen depender de taxonomías de valores predefinidas (por ejemplo, los modelos de valores de Schwartz) y técnicas de articulación explícita como encuestas o entrevistas. Sin embargo, los valores morales humanos son frecuentemente tácitos, dependientes del contexto y difíciles de expresar directamente. Además, los valores son dinámicos y evolucionan con el tiempo, lo que hace insuficiente la categorización estática. Las técnicas existentes a menudo sufren rupturas en la comunicación entre las partes interesadas y los elicidores, lo que conduce a requisitos no articulados o no reconocidos. Asimismo, reducir consideraciones éticas complejas a ontologías fijas conlleva el riesgo de la "Trampa del Formalismo", donde los sistemas se consideran "justos" basándose en métricas predefinidas que no capturan la realidad situada del comportamiento del usuario.

El artículo aboga por un cambio desde la elicitación de valores morales discretos hacia la reconstrucción de perfiles morales individuales. Este enfoque se fundamenta en la antropología fenomenológica y narrativa, postulando que la vida moral no es un conjunto de rasgos estables, sino un patrón relacional y narrativo que emerge a través de la experiencia vivida, la interacción social y la toma de decisiones situada.

Metodología

El estudio propone un protocolo de concepto que combina juegos de rol (RPG) inmersivos con el análisis de Modelos de Lenguaje Grande (LLM) para elicitar y representar estos perfiles morales. La metodología se divide en cuatro fases:

1. Diseño del Juego y Recolección de Datos (El Ambiente de Elicitación)

• Dominio: El estudio se centra en la privacidad digital, elegido por su relevancia y accesibilidad para los usuarios.
• Formato: Un RPG de mesa analógico donde los participantes actúan como ellos mismos (no como personajes ficticios) dentro de un escenario realista y controlado que involucra dilemas de privacidad digital (por ejemplo, phishing, violaciones de datos, Wi-Fi público).
• Rol del Investigador: El investigador actúa como el Director de Juego (GM), guiando la narrativa y gestionando los Personajes No Jugadores (NPC) que introducen puntos de vista morales conflictivos.
• Fuentes de Datos: Para asegurar la triangulación y capturar valores tácitos, los datos se recopilan de:
  • Auto-descripción: Perfiles de jugadores y rasgos de personalidad.
  • Diario de Juego: Los participantes registran decisiones, justificaciones y respuestas emocionales durante el juego.
  • Interacciones con GPT: Los jugadores consultan un "oráculo" LLM para aclaraciones técnicas, revelando la alfabetización en el dominio y las dependencias en la toma de decisiones.
  • Notas de campo del investigador: Observaciones de la dinámica grupal, la hesitación y las estructuras relacionales.
  • Grupo focal de seguimiento: Reflexión posterior al juego que conecta las decisiones dentro del juego con experiencias del mundo real.
• Participantes: 10 participantes (5 hombres, 5 mujeres) con diversos antecedentes y niveles de experiencia en RPG.

2. Procesamiento de Datos

Los datos crudos de las fuentes anteriores se organizan en tablas narrativas estructuradas por participante. Estas tablas integran datos heterogéneos (decisiones, emociones, interacciones, justificaciones y narrativas de la vida real) en una estructura unificada para su análisis.

3. Especialización del Modelo (El "LLM Antropólogo")

Una instancia especializada de LLM (GPT-A, basada en GPT-4o) se configura para actuar como un antropólogo social.

• Fundamentación: Se proporciona al modelo un "Documento Base" que contiene un glosario y una visión histórica de la antropología fenomenológica y narrativa (haciendo referencia a autores como Kleinman, Merleau-Ponty y Mattingly).
• Prompting: Se instruye al modelo para evitar afirmaciones esencialistas (por ejemplo, "el usuario es X") y, en su lugar, analizar las orientaciones morales como performativas, relacionales y dependientes del contexto. Se le asigna la tarea de identificar patrones interpretativos recurrentes, posicionamiento narrativo y momentos de tensión o ambivalencia.
• Salida: El modelo genera un Perfil Moral Antropológico Individual (IAMP) para cada participante. Esta es una representación narrativa del "mundo moral local" del usuario, en lugar de una lista de valores explícitos.

4. Validación

El enfoque se valida mediante una comparación cruzada a dos niveles:

• Nivel 1 (Precisión Predictiva): Los participantes completan un cuestionario con nuevos escenarios morales no vistos en el mismo dominio. Las predicciones del modelo de sus respuestas (basadas en el IAMP) se comparan con sus respuestas reales.
• Nivel 2 (Enmarcado Interpretativo): El rendimiento de GPT-A (fundamentado antropológicamente) se compara con una configuración no antropológica (GPT-NA) y un modelo base (GPT-B) para evaluar el valor del marco antropológico.

Contribuciones Clave

1. Cambio de Paradigma en la Elicitación de Valores: El artículo propone pasar de la elicitación basada en taxonomías de valores discretos a la reconstrucción narrativa de perfiles morales. Esto reconoce la naturaleza tácita, situada y dinámica de los valores humanos.
2. Integración de RPG y LLM: Demuestra un protocolo novedoso donde los RPG inmersivos sirven como una herramienta etnográfica para generar datos ricos y dependientes del contexto, los cuales son interpretados posteriormente por un LLM fundamentado en teoría antropológica.
3. El "LLM Antropólogo": El estudio introduce un método para personalizar LLMs con marcos teóricos específicos (antropología fenomenológica/narrativa) para transformar datos cualitativos no estructurados en narrativas interpretativas coherentes (IAMPs) que preservan los conflictos de valores y las dependencias contextuales.
4. Validación de Perfiles Narrativos: El estudio proporciona evidencia empírica de que estos perfiles narrativos pueden predecir eficazmente el comportamiento del usuario en nuevos escenarios, superando a los modelos que carecen del marco interpretativo antropológico.

Resultados

El estudio arrojó los siguientes hallazgos correspondientes a las preguntas de investigación:

• RQ1 (Riqueza de Datos): Las sesiones de RPG generaron con éxito datos granulares y ricos en contexto. La interacción entre elementos dentro del juego (mecánicas, NPC, dinámica grupal) y elementos fuera del juego (experiencias pasadas, hábitos, auto-revelación) hizo observables los procesos de toma de decisiones. Crucialmente, los datos revelaron discrepancias entre los rasgos autoinformados y el comportamiento real, destacando cómo se negocian los valores en tiempo real.
• RQ2 (Representación del Perfil): El LLM Antropólogo (GPT-A) transformó con éxito los datos narrativos no estructurados en perfiles morales coherentes. A diferencia de la codificación estándar, los IAMP preservaron las tensiones (por ejemplo, el conflicto entre la conciencia normativa y la vulnerabilidad situada) y trataron los valores como ensamblajes dinámicos en lugar de categorías estáticas.
• RQ3 (Eficacia Predictiva):
  • Precisión: GPT-A logró una precisión del 81% en la predicción de las respuestas de los participantes a escenarios no vistos.
  • Impacto del Marco: Hubo una clara gradiente de rendimiento basada en el marco interpretativo: GPT-B (base) logró el 51%, GPT-NA (no antropológico) logró el 68% y GPT-A (fundamentado antropológicamente) logró el 81%.
  • Mecanismo: La mayor precisión de GPT-A se atribuyó a su capacidad para reconstruir el razonamiento contextual detrás de las decisiones (por ejemplo, vincular un rechazo a compartir datos con una experiencia pasada de estafa) en lugar de depender de la recuperación estática de preferencias.
  • Limitaciones: En casos donde los datos no capturaron la experiencia real del dominio de un participante (por ejemplo, un participante que parecía conocedor pero se remitió al grupo), la precisión predictiva disminuyó en todos los modelos, lo que indica que la calidad del IAMP depende de la completitud de los datos subyacentes.

Significado y Afirmaciones

El artículo afirma que este enfoque ofrece una base para integrar valores morales humanos en las etapas tempranas de la Ingeniería de Requisitos, preservando su naturaleza situada y dinámica.

• Para la RE: Los IAMP generados proporcionan una manera de representar tensiones específicas del usuario, preferencias y factores contextuales que típicamente son difíciles de capturar mediante la elicitación tradicional. Esto permite el análisis de compensaciones del usuario sin reducirlos a métricas abstractas.
• Para la Ética: Al centrarse en la "ética blanda" (valores más allá del cumplimiento legal), el enfoque aborda la brecha entre las regulaciones formales y el comportamiento humano real.
• Escalabilidad y Transparencia: Si bien el estudio actual utiliza moderación humana, la integración de LLMs apoya la escalabilidad. Además, dado que el modelo debe justificar sus predicciones basándose en el IAMP, el proceso ofrece un grado de transparencia sobre cómo se construyen las representaciones del usuario.

Los autores mantienen una postura modesta, reconociendo que el estudio es un concepto de prueba con un tamaño de muestra pequeño (N=10) y un solo dominio (privacidad digital). Enfatizan que el protocolo está diseñado para ser agnóstico al dominio, pero requiere más pruebas en diversos contextos culturales y poblaciones para establecer la transferibilidad. El enfoque no afirma reemplazar el análisis etnográfico humano, sino complementarlo dentro de un protocolo de "humano en el bucle", extendiendo la capacidad analítica mientras se preserva la profundidad interpretativa.