From Topic to Transition Structure: Unsupervised Concept Discovery at Corpus Scale via Predictive Associative Memory

Título: Da Tópico à Estrutura de Transição: Descoberta de Conceitos Não Supervisionados em Escala de Corpus via Memória Associativa Preditiva

1. O Problema

Os modelos de incorporação (embedding) tradicionais e os modelos de tópicos agrupam textos com base no conteúdo semântico ("sobre o que o texto fala"). Eles falham em capturar a função estrutural local do texto ("o que o texto faz" dentro de uma narrativa).

• Limitação Atual: Dois trechos com vocabulário e temas completamente diferentes (ex.: uma cena de horror em uma floresta tropical vs. um suspense em uma casa vitoriana) podem desempenhar a mesma função narrativa (ex.: o momento em que um personagem confronta algo que não deveria estar lá). Modelos baseados em similaridade semântica não conseguem agrupar esses trechos, pois focam no conteúdo, não na estrutura de transição.
• Objetivo: Desenvolver um método para descobrir conceitos baseados na estrutura de transição (padrões recorrentes de sucessão de eventos) em vez de tópicos, utilizando apenas dados não supervisionados.

2. Metodologia

O método proposto adapta o quadro de Memória Associativa Preditiva (PAM) para a descoberta de conceitos em escala de corpus, utilizando aprendizado contrastivo sob restrição de capacidade.

A. Corpus e Pré-processamento

• Dados: 9.766 textos em inglês do Projeto Gutenberg (ficção, não-ficção, drama, etc.), abrangendo os séculos XVI ao XX.
• Chunking: Os textos foram divididos em passagens de 50 tokens com sobreposição de 15 tokens, gerando ~24,96 milhões de passagens.
• Embeddings Iniciais: As passagens foram codificadas usando o modelo pré-treinado BGE-large-en-v1.5 (vetores de 1024 dimensões).

B. Sinal de Treinamento: Co-ocorrência Temporal

• Ao contrário de pares semânticos (paráfrases), o sinal de treinamento são pares de co-ocorrência temporal.
• Para cada texto, extraem-se pares de passagens que aparecem dentro de uma janela de 15 chunks (aprox. 525 tokens).
• Lógica: Passagens que consistentemente aparecem próximas umas das outras em milhares de livros diferentes compartilham uma estrutura de transição similar (mesmos predecessores e sucessores), independentemente do tema.

C. Modelo de Associação (Contrastive MLP)

• Arquitetura: Uma MLP de 4 camadas com 29,4 milhões de parâmetros, operando sobre os embeddings pré-treinados.
• Função: Mapear os embeddings originais para um "espaço de associação" onde passagens com estruturas de transição similares se agrupam.
• Perda: Função de perda contrastiva simétrica (InfoNCE) com negativos em lote.
• Restrição de Capacidade (O "Gargalo"): O modelo foi treinado em 373 milhões de pares, mas sua capacidade é insuficiente para memorizar todos os pares individuais (acurácia de treinamento de apenas 42,75%).
• Mecanismo de Compressão: Devido à incapacidade de memorização, o modelo é forçado a comprimir e extrair padrões estruturais recorrentes que se aplicam a milhares de livros, em vez de aprender associações contingentes específicas.

D. Agrupamento Multi-Resolução

• Os embeddings transformados no espaço de associação são agrupados usando k-means em seis granularidades ($k = 50$ a $k = 2.000$).
• Isso gera um mapa de conceitos hierárquico, desde modos narrativos amplos até registros discursivos específicos.

3. Principais Contribuições

1. Método de Descoberta de Conceitos Não Supervisionado: Uma técnica que não requer rótulos, anotações de tópicos ou metadados de gênero. Os conceitos emergem puramente da compressão de estatísticas de co-ocorrência temporal.
2. Descoberta de Estrutura de Transição: Evidência empírica de que o método captura funções narrativas, registros discursivos e tradições literárias, diferenciando-se fundamentalmente da similaridade semântica.
3. Mapa de Conceitos Multi-Resolução: Um mapa estrutural de 9.766 textos em seis níveis de granularidade, revelando desde "confrontação direta" até "dialetos de marinheiros" e "correspondência Darwin-Huxley".
4. Transferência Indutiva Bem-Sucedida: Demonstração de que, ao contrário de sistemas de recuperação anteriores (AAR) que falham na transferência, este modelo generaliza para textos nunca vistos, pois aprende padrões estruturais recorrentes e não associações contingentes.

4. Resultados e Evidências

A. Comparação com Embeddings Semânticos (BGE)

• BGE (Semântico): Agrupa passagens por tópico (ex.: todos os trechos sobre "medo" ou "dinheiro" juntos).
• PAM (Associação): Agrupa por função e estrutura.
  • Exemplo: O cluster "Confrontação e Negociação" inclui diálogos de romances domésticos, dramas históricos e mistérios, unidos pelo ato narrativo de "duas partes declarando posições", apesar de terem vocabulários e cenários distintos.
  • Exemplo: O cluster "Descoberta de Morte ou Horror" agrupa textos de H.Rider Haggard, H.G. Wells e contos góticos, unidos pela reação corporal do personagem antes da compreensão mental.

B. Avaliação em Romances Não Vistos (Unseen Novels)

O modelo foi aplicado a 5 clássicos não presentes no treinamento (ex.: Orgulho e Preconceito, Drácula, Frankenstein) sem re-treinamento.

• Seletividade: O modelo PAM concentra cada romance em um subconjunto seletivo de clusters estruturais.
  • Alice no País das Maravilhas: 77,6% das passagens caem em apenas 5 clusters (focados em rituais domésticos e jogos), refletindo a estrutura narrativa consistente de Carroll.
  • Drácula: Distribuição mais plana (39,1% nos top-5), refletindo sua natureza multi-gênero (diário, jornal, carta, horror).
• Contraste: O modelo BGE espalha os romances por quase todos os clusters, seguindo a diversidade de vocabulário e tópicos, falhando em capturar a consistência estrutural.

C. Controles de Validação

• Shuffle Temporal: Em um corpus piloto, a permutação aleatória da ordem temporal das passagens reduziu a recuperação em 95,2%, confirmando que o sinal é genuinamente estrutural e não geométrico.
• Controles de Viés: Os clusters não são dominados por posição no livro, contagem de tokens ou concentração de um único autor/livro (muitos clusters contêm milhares de livros distintos).

5. Significado e Implicações

• Mudança de Paradigma: O trabalho demonstra que a compressão de dados de co-ocorrência temporal pode transformar a "memória episódica" (lembrar eventos específicos) em "formação de conceitos" (extrair padrões abstratos).
• Analogia Biológica: O processo é análogo ao "replay" hipocampal durante o sono, que consolida episódios em representações neocorticais estáveis.
• Aplicações Potenciais:
  • Análise Literária: Revela "assinaturas de ritmo" de autores e parentescos estruturais entre gêneros distintos.
  • Educação: Fornece vocabulário baseado em dados para discutir estrutura narrativa.
  • Generalização: O mecanismo pode ser aplicado a qualquer dado sequencial (jurídico, genético, interações de usuário) onde padrões estruturais recorrentes existem sob restrição de capacidade.

Conclusão

O artigo apresenta uma abordagem inovadora onde a estrutura de transição (o que o texto faz) é descoberta através da compressão de co-ocorrência temporal, superando as limitações da análise baseada em tópicos. Ao forçar um modelo a generalizar sob restrição de capacidade, o sistema extrai conceitos literários universais que transferem indutivamente para novos textos, oferecendo uma nova lente para a análise de corpus em escala.