Resumen Técnico: Marco de Multi-Agentes Ajustado con Fine-Tuning para la Detección de OCEAN en Narrativas de Vida

1. Planteamiento del Problema

Evaluar con precisión la personalidad a partir de texto es intrínsecamente difícil porque los rasgos son latentes, dependen del contexto y suelen expresarse mediante claves lingüísticas sutiles en lugar de palabras clave explícitas. Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen la capacidad de procesar contextos textuales extensos, sufren de sesgos de "personalidad latente" heredados de su preentrenamiento. Depender de un solo modelo suele conducir a evaluaciones inconsistentes, alucinaciones e inferencias sesgadas, particularmente al analizar narrativas de vida de larga duración donde la evidencia está distribuida e implícita. Los enfoques existentes, que van desde modelos con ingeniería de características hasta LLM basados en prompts, a menudo luchan con textos cortos, etiquetado grueso o una falta de interpretabilidad y fundamentación teórica.

2. Metodología

Los autores proponen un Marco de Multi-Agentes Ajustado con Fine-Tuning diseñado para detectar los cinco grandes rasgos de personalidad (OCEAN: Apertura, Responsabilidad, Extraversión, Amabilidad y Neuroticismo) a partir de transcripciones de narrativas de vida. El marco opera a través de una estructura jerárquica que involucra sub-agentes especializados y un agente juez.

2.1 Arquitectura Multi-Agente

El sistema emplea 15 sub-agentes (tres para cada uno de los cinco rasgos: Alto, Neutral y Bajo).

• Sub-Agentes: Cada sub-agente está condicionado para adoptar una perspectiva específica (Alta, Neutral o Baja) para un rasgo específico. Realizan una clasificación binaria para determinar si la narrativa exhibe el nivel de rasgo específico para el cual han sido entrenados. Emiten una decisión binaria, evidencia textual de apoyo y un puntaje de confianza.
• Agente Juez: Un LLM separado actúa como juez. Este agrega las salidas (decisiones, evidencia y puntajes de confianza) de los tres sub-agentes para un rasgo determinado, junto con la transcripción completa y las definiciones de facetas específicas del rasgo. El juez realiza una evaluación comparativa para reconciliar señales conflictivas y generar una predicción final multiclasificación (Alto, Neutral o Bajo).

2.2 Ajuste Fino (Fine-Tuning) y Condicionamiento

Para inducir representaciones sensibles a la personalidad y mitigar los sesgos de preentrenamiento, el marco utiliza tres mecanismos clave:

1. Ajuste Fino de MLM con Enmascaramiento Consciente de Emociones: Los sub-agentes se ajustan utilizando un objetivo de Modelado de Lenguaje Enmascarado (MLM) autosupervisado sobre narrativas de vida. A diferencia del MLM estándar, se enmascaran el 30% de los tokens: el 15% son palabras emocionales (identificadas mediante SenticNet) y el 15% son palabras no emocionales. Esto obliga al modelo a interiorizar patrones lingüísticos emocionales y estructurales asociados con niveles de rasgos específicos.
2. Adaptación LoRA: Se aplica la Adaptación de Bajo Rango (LoRA) a las capas de proyección de consulta, clave, valor y salida del modelo base (Mistral-7B-Instruct). Esto permite un ajuste fino eficiente con aproximadamente 4.2 millones de parámetros entrenables por agente, equilibrando el conocimiento preentrenado con la adaptación específica del rasgo.
3. Fundamentación Psicométrica (IPIP-NEO): Los sub-agentes son instigados con claves de facetas IPIP-NEO. Los agentes de nivel alto reciben anclajes de facetas con polaridad positiva, los de nivel bajo reciben anclajes de polaridad negativa y los agentes neutrales reciben claves mixtas. Esto proporciona una supervisión detallada y fundamentada en la teoría, asegurando que los agentes se centren en definiciones conductuales en lugar de claves genéricas.

2.3 Datos e Implementación

El marco se evalúa en el conjunto de datos SPAN (St. Louis Personality and Aging Network), que consta de 1,535 transcripciones de entrevistas de narrativas de vida. Los puntajes continuos de verdad de campo se discretizan en contenedores de Alto, Neutral y Bajo mediante el uso de terciles. El sistema utiliza Mistral-7B-Instruct para los sub-agentes y Qwen para el modelo juez, aprovechando la mayor capacidad de contexto de este último para agregar la evidencia distribuida.

3. Principales Contribuciones

El artículo describe tres contribuciones primarias:

1. Un Marco Multi-Agente: La introducción de un sistema estructurado donde los sub-agentes de LLM son inducidos a orientaciones de rasgos Altas, Bajas y Neutrales mediante el ajuste fino de MLM, prompts de rol y claves de facetas IPIP-NEO.
2. Agregación Mediada por un Juez: Un mecanismo donde un modelo juez reconcilia las señales de rasgos conflictivas de sub-agentes especializados, permitiendo una clasificación más precisa que la inferencia de un solo agente.
3. Evaluación Exhaustiva: Una evaluación rigurosa que incluye comparaciones cuantitativas con líneas base, estudios de ablación, análisis de alineación semántica y estudios de caso cualitativos para demostrar cómo el marco infiere la personalidad y mitiga el sesgo.

4. Resultados y Análisis

4.1 Desempeño Cuantitativo

• Comparación con Línea Base: El marco multi-agente completo logró los mejores puntajes de macro-F1 en los rasgos OCEAN, mejorando el desempeño promedio en aproximadamente un 8% respecto al mejor modelo de un solo agente (Qwen con Cadena de Pensamiento/Chain-of-Thought).
• Configuración del Modelo: La configuración óptima utilizó Mistral-7B para los sub-agentes (eficiente en la extracción de evidencia localizada a partir de prompts cortos y específicos de la faceta) y Qwen como el juez (capaz de integrar múltiples salidas con transcripciones completas). El uso de Mistral como juez resultó en un desempeño más débil debido a las limitaciones de capacidad de contexto.
• Precisión por Clase: El marco funcionó bien en las clases Alta y Baja, pero tuvo dificultades con las clases Neutrales (por ejemplo, 20–28% de precisión), lo que refleja la dificultad inherente de identificar expresiones de rasgos moderados.

4.2 Estudios de Ablación

Eliminar componentes clave degradó significamente el desempeño:

• Sin Claves IPIP-NEO: Causó la mayor caída (15.63% en el F1 promedio), resaltando el papel crítico de la fundamentación psicométrica.
• Sin Ajuste Fino de MLM: Resultó en una caída del 11.30%, confirmando el valor de la adaptación específica de la tarea.
• Sin Sub-Agentes: Una caída del 7.93% confirmó que la especialización a nivel de agente mejora la predicción.

4.3 Análisis Cualitativo y Semántico

• Alineación Semántica: El marco completo mostró la mayor alineación semántica direccional entre la evidencia de los sub-agentes y las claves de facetas IPIP-NEO. Eliminar las claves de facetas causó que los márgenes de alineación cayeran o se volvieran negativos.
• Estudio de Caso: En un ejemplo de Apertura, un modelo base de un solo agente clasificó incorrectamente una narrativa pragmática y fáctica como "Alta Apertura" basándose en transiciones de carrera. El marco multi-agente identificó correctamente la falta de profundidad imaginativa (a través de los agentes Bajo/Neutral) y la naturaleza pragmática de la exploración (a través del Juez), resultando en una clasificación correcta de "Neutral".

5. Significado y Reivindicaciones

El artículo sostiene que la inferencia de personalidad confiable a partir de textos largos y complejos requiere tanto descomposición como fundamentación psicométrica. El marco propuesto demuestra que:

• Razonamiento Multi-Agente: La agregación de múltiples perspectivas controladas es superior a la inferencia de un solo agente para capturar señales de rasgos distribuidas y sutiles.
• Mitigación de Sesgos: Condicionar a los agentes en roles específicos y fundamentarlos en instrumentos psicométos (IPIP-NEO) mitiga los sesgos latentes e inconsistencias de los LLM preentrenados.
• Interpretabilidad: El diseño jerárquico proporciona salidas explicables, donde el razonamiento del juez está basado en evidencia específica y definiciones de nivel de faceta, ofreciendo un método escalable para la evaluación de la personalidad basada en texto.

Los autores concluyen que, si bien el enfoque mejora la robustez e interpretabilidad, sigue limitado por la dificultad de clasificar rasgos moderados, la dependencia de transcripciones clínicas estructuradas y los mayores costos computacionales en comparación con los modelos de un solo agente. El trabajo está destinado a apoyar la investigación en patrones narrativos y rasgos cognitivos, no para tomar decisiones de alto riesgo sin supervisión humana.