CIG: Measuring Conversational Information Gain in Deliberative Dialogues with Semantic Memory Dynamics

Título: CIG: Medindo o Ganho de Informação Conversacional em Diálogos Deliberativos com Dinâmicas de Memória Semântica

1. Problema e Motivação

A avaliação da qualidade em deliberações públicas (debates, fóruns comunitários) tradicionalmente foca em métricas superficiais, como civilidade, estrutura argumentativa ou formalidade. No entanto, essas métricas falham em capturar o progresso informativo real da conversa.

• Limitações atuais: Indicadores baseados em cividade podem mascarar intenções maliciosas, e insights valiosos podem surgir em trocas informais. Métricas como Deliberative Quality Index (DQI) ou proxies computacionais de estrutura de argumentos não distinguem bem entre progresso construtivo e "fala burocrática".
• Definição do Problema: Como medir objetivamente o quanto uma fala (utterance) avança a compreensão coletiva sobre um tópico, considerando o estado de conhecimento já estabelecido no grupo?

2. Metodologia Proposta: Framework CIG

Os autores introduzem o CIG (Conversational Information Gain), um framework que avalia cada fala com base em como ela altera o estado de conhecimento compartilhado.

A. Decomposição do CIG
O CIG é decomposto em três dimensões interpretáveis (escala de 1 a 4):

1. Novidade (Novelty): A informação é nova em relação ao conhecimento prévio? (Varia de repetição a novos princípios).
2. Relevância (Relevance): A informação está alinhada com o objetivo da discussão? (Varia de fora do tópico a central).
3. Escopo de Implicação (Implication Scope): Qual a generalização da afirmação? (Varia de local/procedimental a princípios universais aplicáveis à comunidade).

• Nota: O CIG total reflete o avanço informativo, não necessariamente a qualidade conversacional (reiterações podem ter CIG baixo, mas serem úteis para coordenação).

B. Pipeline Técnico: Memória Semântica Dinâmica
Para operacionalizar o CIG, o sistema não analisa falas isoladamente, mas sim em relação a uma memória semântica evolutiva. O pipeline funciona em duas etapas principais (inspirado no framework Mem0, mas adaptado para multi-participantes):

1. Extração de Afirmativas (Claim Extraction):
   • Um LLM decompõe cada fala em "afirmativas atômicas" (proposições discretas e autocontidas).
   • Resolve ambiguidades (coreferência), remove preenchimentos conversacionais e normaliza o conteúdo proposicional.
2. Consolidação da Memória (Memory Consolidation):
   • As novas afirmativas são comparadas com a memória existente usando NLI (Natural Language Inference) bidirecional.
   • O sistema recupera as $k$ afirmativas mais similares semanticamente.
   • Um juiz LLM classifica a relação entre a nova afirmativa ($A$) e as existentes ($B$) em: equivalente, forward_entail, backward_entail, contradição, neutro.
   • Ações Determinísticas:
     • ADD: Se a afirmativa é nova (neutra) ou de um orador diferente (preservando discordâncias).
     • UPDATE: Se a afirmativa refina (forward_entail) ou corrige (contradição) uma afirmativa do mesmo orador.
     • NONE: Se for redundante (equivalente ou backward_entail).

C. Avaliação e Predição

• Anotação Humana: 80 segmentos de dois conjuntos de dados (debates TV Intelligence Squares e discussões comunitárias FORA) foram anotados por humanos usando a memória recuperada como contexto.
• Predição com LLM: O modelo GPT-5 foi treinado para prever os scores de CIG e suas dimensões, recebendo o mesmo contexto (resumo da memória + 3 falas anteriores) que os anotadores humanos.

3. Resultados Principais

A. Validação da Anotação e Predição

• Concordância: Houve concordância moderada a alta entre anotadores humanos (Krippendorff's $\alpha$ entre 0.51 e 0.67).
• Desempenho do LLM: O GPT-5, com acesso à memória resumida, alcançou um erro médio absoluto (MAE) comparável ou até inferior ao erro de um anotador humano isolado (LOO baseline), demonstrando que o modelo consegue reproduzir julgamentos humanos agregados.
• Eficiência da Memória: Resumos baseados na memória recuperada funcionaram tão bem quanto o transcript completo para a predição do LLM, sugerindo que a memória compacta é uma substituta fiel e escalável.

B. Análise de Dimensões e Heurísticas

• Drivers do CIG: Regressões ordinais mostraram que Novidade e Relevância são os principais preditores do CIG percebido. O Escopo de Implicação contribuiu pouco para prever a informatividade, sugerindo que afirmações universais não são necessariamente mais informativas do que testemunhos concretos e situados.
• Dinâmicas de Memória vs. Heurísticas Tradicionais: Sinais derivados da dinâmica da memória (ex: contagem de atualizações de afirmativas) correlacionaram-se muito mais fortemente com o CIG humano ($|r| \approx 0.72$) do que heurísticas tradicionais como comprimento da frase, entropia de tokens ou TF-IDF.
• Gargalo Conjunção (Conjunctive Bottleneck): Uma análise de agregação revelou que o CIG de uma fala é limitado pelo seu aspecto mais fraco. O operador "mínimo" (min) sobre os aspectos funcionou melhor do que médias, indicando que uma fala precisa ser boa em todos os aspectos (novidade, relevância, escopo) para ter alto ganho informativo.

C. Estudo de Caso: Dinâmica de Moderação

• A aplicação do CIG para analisar intervenções de moderadores revelou padrões distintos:
  • Em debates competitivos (INSQ), intervenções do moderador geram picos imediatos de CIG (especialmente em confrontações).
  • Em discussões comunitárias (FORA), o progresso informativo é mais difuso e acumula-se gradualmente ao longo de várias falas, sem picos imediatos.

4. Contribuições Chave

1. Novo Framework de Avaliação: Definição operacional do CIG baseada em ganho de informação coletiva, decomposto em dimensões interpretáveis.
2. Pipeline de Memória Semântica: Implementação de um sistema de memória dinâmica para diálogos multi-participantes que rastreia a evolução de crenças e afirmativas através de NLI, permitindo avaliação contextualizada.
3. Validação Empírica: Demonstração de que dinâmicas de memória (atualizações de claims) são melhores indicadores de progresso informativo do que métricas textuais superficiais.
4. Ferramenta Automatizada: Prova de conceito de que LLMs podem automatizar a avaliação de qualidade de diálogo deliberativo com alta fidelidade aos julgamentos humanos, usando resumos de memória.

5. Significado e Impacto

O trabalho avança o campo da análise de diálogo ao mudar o foco da forma (cividade/estrutura) para o conteúdo substantivo e o progresso do conhecimento.

• Aplicações Práticas: O framework pode ser usado para monitorar a saúde de discussões públicas em tempo real, fornecer feedback para moderadores e treinar agentes de IA para facilitar diálogos mais produtivos.
• Escalabilidade: A descoberta de que resumos de memória substituem transcripts completos permite a análise de conversas longas com custo computacional reduzido.
• Insight Teórico: A descoberta do "gargalo conjunção" sugere que a percepção humana de informatividade é holística e restritiva, não aditiva.

Limitações

• O pipeline depende da precisão da extração e consolidação de LLMs (erros podem propagar-se).
• Os dados são limitados a dois contextos moderados em inglês, excluindo tópicos altamente sensíveis.
• A avaliação humana foi feita com contexto limitado (resumo + poucas falas), o que pode enviesar os resultados em comparação com a leitura completa do histórico.

Em suma, o CIG oferece uma lente analítica robusta e automatizável para entender como a informação flui e se acumula em diálogos deliberativos, superando as limitações das métricas de superfície atuais.