Point of Order: Action-Aware LLM Persona Modeling for Realistic Civic Simulation

Título: Point of Order: Modelagem de Persona de LLM Consciente de Ação para Simulação Cívica Realista

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) oferecem oportunidades promissoras para simular deliberações multipartidárias complexas (como tribunais, conselhos escolares e câmaras municipais). No entanto, a modelagem realista enfrenta um gargalo crítico: a falta de dados atribuídos a falantes específicos.

• Limitação Atual: As transcrições geradas automaticamente (ASR) de reuniões públicas geralmente atribuem rótulos genéricos aos falantes (ex: Speaker_1, Speaker_2), perdendo a identidade dos participantes.
• Consequência: Sem a identidade consistente, os modelos não conseguem capturar comportamentos humanos coerentes, padrões de interação ou a fidelidade da persona ao longo de múltiplas gravações.
• Complexidade Adicional: As deliberações reais envolvem erros de transcrição, fala sobreposta e transições rápidas entre procedimentos formais e debates espontâneos, exigindo que os modelos sejam robustos a ruídos e guiados por contexto pragmático.

2. Metodologia

Os autores propõem um pipeline reprodutível que transforma gravações públicas do Zoom em transcrições ricas em metadados, permitindo a criação de personas de LLM "conscientes de ação".

A. Pipeline de Diarização e Linkagem Multimodal:

• Entrada: Gravações públicas do Zoom em modo "galeria" (onde o falante ativo é destacado visualmente).
• Processamento Visual: Identificação do falante ativo através de máscaras de cor e extração de contornos. O nome do participante é extraído do canto inferior esquerdo do tile de vídeo usando OCR (Reconhecimento Óptico de Caracteres), com pré-processamento de super-resolução (EDSR) para vídeos de baixa qualidade.
• Processamento de Áudio: Transcrição via Whisper.
• Linkagem: Os nomes extraídos pelo OCR são normalizados e agrupados (fuzzy matching) para atribuir identidades estáveis e consistentes em todas as gravações de um mesmo indivíduo, superando a limitação dos rótulos genéricos.

B. Modelagem de Persona "Consciente de Ação" (Action-Aware):
Para garantir coerência em condições ruidosas, o pipeline enriquece as transcrições com três camadas de metadados estruturados:

1. Perfis de Persona: Extraídos de monólogos longos dos falantes usando LLMs (GPT-5), capturando objetivos, tom, limites e posições políticas.
2. Tópicos da Reunião: Resumo hierárquico dos temas discutidos.
3. Tags de Ação Pragmática: Um sistema de anotação que rotula cada turno de fala com tags funcionais (ex: [propose_motion], [ask_clarification], [call_vote]). Essas tags descrevem a intenção da fala (ato de fala) em vez de apenas o sentimento.

C. Treinamento e Simulação:

• Fine-Tuning: Utilização de Parameter-Efficient Fine-Tuning (PEFT), especificamente QLoRA, para adaptar modelos de ponta (LLaMA-3.1, Qwen-2.5, GPT-OSS) aos dados específicos de cada falante.
• Prompts Estruturados: Durante a inferência, os agentes recebem prompts contendo descrições de persona, exemplos em contexto, perfis micro-comportamentais e contexto da conversa.
• Simulação Multi-Agente: Os modelos treinados atuam como agentes conversacionais em reuniões simuladas, seguindo agendas com ou sem anotações temporais explícitas.

3. Principais Contribuições

1. Pipeline Multimodal Escalável: Um método robusto para diarização e linkagem de falantes em gravações públicas de reuniões, sem necessidade de metadados especiais além do vídeo.
2. Framework de Modelagem Consciente de Ação: Demonstração de que metadados estruturados (tags de ação) melhoram significativamente a fidelidade da simulação, guiando o modelo para comportamentos pragmáticos realistas.
3. Novos Conjuntos de Dados: Lançamento de três conjuntos de dados públicos com falantes rotulados de deliberações governamentais:
   • Audiências do Tribunal de Apelações de DC (EUA).
   • Reuniões do Conselho Escolar do Condado de Albemarle (EUA).
   • Sessões do Conselho Distrital de Waipā (Nova Zelândia).
   • Totalizando ~1,72 milhão de palavras.
4. Métricas de Avaliação Inovadoras: Introdução de duas métricas para avaliar a fidelidade em simulações multi-agente:
   • Taxa de Engano do Classificador (CFR): Mede quão convincente é a persona (o quanto um classificador é "enganado" a acreditar que a fala gerada é real).
   • Precisão de Atribuição de Falante (SAA): Mede a distintividade da persona (capacidade de um classificador distinguir entre diferentes falantes específicos).

4. Resultados

Os experimentos compararam modelos baseados apenas em prompts (baseline) contra modelos fine-tuned com e sem tags de ação.

• Qualidade Linguística (Perplexidade - PPL): O fine-tuning reduziu a perplexidade em 67% (de 20,37 para 6,64). A inclusão de tags de ação reduziu ainda mais a perplexidade, mesmo em modelos não fine-tuned (redução de ~30%).
• Fidelidade da Persona (CFR): A taxa de engano aumentou drasticamente, quase dobrando (de 0,29 para 0,64, um aumento de +121%) com o fine-tuning e tags de ação. Isso indica que as gerações não são apenas fluentes, mas estilisticamente alinhadas ao falante alvo.
• Distintividade (SAA): A precisão de atribuição melhorou em 96% (de 0,23 para 0,45), mostrando que os modelos aprenderam a replicar as "impressões digitais" retóricas únicas de cada indivíduo.
• Avaliação Humana (Teste de Turing): Em um estudo com trabalhadores do MTurk, os participantes conseguiram distinguir corretamente entre transcrições reais e simuladas apenas 45,5% das vezes (abaixo do acaso de 50%), indicando que as simulações são frequentemente indistinguíveis da realidade.
• Comportamentos Emergentes: As simulações demonstraram a capacidade de seguir procedimentos institucionais complexos (ex: chamadas de voto, momentos de silêncio, leitura de atas) sem instrução explícita para cada passo, sugerindo a internalização de normas organizacionais.

5. Significância e Impacto

• Análise de Políticas e Cenários "E Se?": A capacidade de simular deliberacões realistas permite explorar cenários hipotéticos (ex: como a mudança na ordem da agenda ou a participação de diferentes atores afeta os resultados) em um ambiente livre de riscos.
• Democratização da Pesquisa Cívica: Fornece uma ferramenta escalável para estudar dinâmicas de tomada de decisão institucional, coordenação de equipes e engajamento democrático.
• Riscos Éticos: Os autores alertam que modelos de persona realistas podem ser usados para desinformação ou manipulação da opinião pública. O trabalho enfatiza a necessidade de diretrizes comunitárias para o uso responsável desses modelos em domínios de alto risco.
• Avanço Técnico: O estudo demonstra que a combinação de fine-tuning eficiente com metadados pragmáticos (ações) é superior à simples engenharia de prompts para simulações de longo prazo e multi-agente.

Em resumo, o artigo estabelece um novo padrão para a simulação de interações humanas complexas, superando a barreira da anonimização de dados e provando que é possível criar agentes de IA que não apenas falam como humanos, mas agem e deliberam como participantes específicos em contextos institucionais reais.