Point of Order: Action-Aware LLM Persona Modeling for Realistic Civic Simulation

1. El Problema

La simulación de deliberaciones multiagente realistas (como en tribunales, consejos escolares o ayuntamientos) es un desafío fundamental para los Modelos de Lenguaje Grande (LLM). Aunque existen millones de grabaciones públicas de reuniones, los transcripciones generadas por Reconocimiento Automático de Voz (ASR) suelen asignar etiquetas genéricas a los hablantes (ej. Speaker_1, Speaker_2) en lugar de identificar a las personas reales.

Esto impide que los modelos capturen personas consistentes, patrones de comportamiento específicos e interacciones a largo plazo. Sin una identificación de hablante estable y metadatos sobre la intención pragmática de cada turno, las simulaciones carecen de fidelidad, coherencia y realismo, limitando su utilidad para el análisis de políticas o la exploración de escenarios hipotéticos ("what-if").

2. Metodología

Los autores proponen un pipeline reproducible que transforma grabaciones públicas de Zoom en datasets de deliberación con atribución de hablantes y metadatos ricos. El enfoque se divide en tres etapas principales:

A. Pipeline de Diarización y Enlace de Hablantes Multimodal

Para superar la falta de etiquetas en las transcripciones ASR, el sistema utiliza señales visuales y de audio:

• Detección Visual: Identifica a los hablantes activos en la vista de galería de Zoom mediante máscaras de color y extracción de contornos.
• OCR y Normalización: Extrae los nombres de las tarjetas de video mediante OCR (con super-resolución si es necesario) y los normaliza.
• Enlace de Identidad: Utiliza estas señales visuales junto con características de audio y contexto textual para asignar y propagar identidades estables a través de múltiples grabaciones, creando un corpus con etiquetas de hablantes canónicas.

B. Extracción de Metadatos Estructurados

Para mejorar la fidelidad de la simulación, el texto se enriquece con tres capas de metadatos:

1. Perfiles de Persona: Extraídos de los monólogos más largos de cada hablante usando LLMs (GPT-5), capturando objetivos, tono, límites, creencias y estilo retórico.
2. Temas de Reunión: Identificados mediante resumen de fragmentos de texto para proporcionar contexto global.
3. Etiquetas de Acción Pragmática (Action Tags): Se desarrolla una taxonomía compacta (15-30 categorías) que etiqueta cada turno de habla según su función (ej. [proponer_moción], [pedir_clarificación], [llamar_votación]). Esto guía al modelo hacia comportamientos realistas en lugar de mera imitación estilística.

C. Entrenamiento y Simulación

• Fine-Tuning (PEFT): Se utiliza QLoRA para afinar eficientemente modelos LLM (LLaMA-3.1, Qwen-2.5, GPT-OSS) en los datos etiquetados.
• Prompting Estructurado: Se utilizan prompts de sistema que integran perfiles, ejemplos en contexto, micro-perfiles (estadísticas de comportamiento) y contexto de la reunión.
• Simulación: Los agentes afinados interactúan siguiendo una agenda simulada, evaluándose tanto en modo "consciente del tiempo" (con marcas temporales) como "inconsciente del tiempo".

3. Contribuciones Clave

1. Pipeline Multimodal Escalable: Un método robusto para asignar identidades en reuniones públicas sin necesidad de metadatos especiales, solo con las grabaciones de video.
2. Modelado de Persona "Consciente de la Acción": Un marco que demuestra que incluir etiquetas de acción pragmática (estructuradas) mejora significativamente la fidelidad de la simulación, incluso sin fine-tuning.
3. Nuevos Datasets Públicos: Lanzamiento de tres datasets de deliberaciones gubernamentales con etiquetas de hablantes:
   • Audiencias del Tribunal de Apelaciones de DC.
   • Reuniones de la Junta Escolar del Condado de Albemarle.
   • Sesiones del Consejo del Distrito de Waipā (Nueva Zelanda).
   • Total: ~1.72 millones de palabras.
4. Métricas de Evaluación Innovadoras: Introducción de dos métricas para evaluar la fidelidad en simulaciones multiagente:
   • Tasa de Engaño del Clasificador (CFR): Mide qué tan bien un agente imita el estilo de un hablante específico para "engañar" a un clasificador.
   • Precisión de Atribución de Hablante (SAA): Mide la distintividad única de cada persona en un entorno multiagente.

4. Resultados

Los experimentos demuestran mejoras sustanciales al utilizar fine-tuning con metadatos estructurados:

• Calidad Lingüística: Reducción del 67% en la perplejidad (PPL), bajando de 20.37 a 6.64 en el mejor caso.
• Fidelidad de Persona:
  • La CFR aumentó de 0.29 a 0.64 (+121%), indicando que los modelos generados son estilísticamente convincentes.
  • La SAA aumentó de 0.23 a 0.45 (+96%), demostrando que los modelos aprenden rasgos distintivos únicos de cada hablante.
• Evaluación Humana (Test de Turing): Los evaluadores humanos solo pudieron distinguir correctamente entre transcripciones reales y simuladas en un 45.5% de los casos (por debajo del 50% esperado por azar), lo que sugiere que las simulaciones son indistinguibles de las reales para los humanos.
• Impacto de las Etiquetas de Acción: Incluso sin fine-tuning, incluir etiquetas de acción en el lenguaje natural redujo la perplejidad en casi un 30%, actuando como un fuerte condicionante pragmático.
• Anclaje Temporal: Las simulaciones "conscientes del tiempo" mejoraron significativamente la cobertura de temas y la consecución de objetivos (votaciones) en modelos como LLaMA y Qwen, ayudando a mantener la coherencia en discursos largos.

5. Significado e Impacto

Este trabajo proporciona un marco práctico y escalable para la simulación realista de procesos cívicos y democráticos. Sus implicaciones son profundas:

• Análisis de Políticas: Permite explorar escenarios contrafactuales (cambios en agendas, reglas de participación o estrategias individuales) en un entorno libre de riesgos.
• Validación de Modelos: Establece nuevos estándares para evaluar la fidelidad de los agentes LLM más allá de la fluidez, enfocándose en la consistencia de la identidad y el comportamiento pragmático.
• Riesgos y Ética: Reconoce el doble filo de esta tecnología: mientras democratiza el acceso a la dinámica deliberativa para la educación y la investigación, también plantea riesgos de desinformación y manipulación de la opinión pública si se utilizan para generar narrativas falsas convincentes.

En resumen, el artículo demuestra que la combinación de identificación multimodal de hablantes, metadatos pragmáticos estructurados y fine-tuning eficiente permite crear simulaciones de deliberación institucional que superan las limitaciones anteriores, logrando un nivel de realismo que engaña incluso a evaluadores humanos expertos.