An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data

Resumo Técnico: Uma Abordagem de Informação Teórica Não Supervisionada para Identificação de Agrupamentos Formulaicos em Dados Textuais

Definição do Problema
A análise textual frequentemente requer a distinção entre camadas "formulaicas" — segmentos caracterizados por repetição sistemática, restrições estruturais e rigidez estilística — e composições não formulaicas, mais dinâmicas. Este desafio é particularmente agudo em textos históricos e compostos, como a Bíblia Hebraica, onde camadas de autoria e redação criam interações complexas de estilo. Os métodos de agrupamento (clustering) tradicionais enfrentam obstáculos significativos neste domínio:

1. Alta Dimensionalidade e Esparsidade: Dados textuais, especialmente quando representados por n-gramas ou características morfológicas, frequentemente resultam em espaços de características de alta dimensionalidade com relativamente poucas amostras (unidades de texto), levando à "maldição da dimensionalidade".
2. Suposições Distribuicionais: Muitos algoritmos de agrupamento padrão (ex: Modelos de Mistura Gaussiana, k-means) baseiam-se em suposições sobre distribuições de dados (ex: gaussianidade) ou requerem estimativa de covariância estável. Em configurações esparsas e de alta dimensionalidade, as matrizes de covariância frequentemente tornam-se singulares ou mal condicionadas, tornando esses métodos instáveis ou exigindo uma regularização pesada que introduz viés.
3. Falta de Rótulos: A identificação de estruturas formulaicas em textos históricos é frequentemente uma tarefa não supervisionada onde os rótulos de verdade fundamental (ground truth) são debatidos ou indisponíveis, necessitando de métodos que possam inferir estrutura sem categorias predefinidas.

Metodologia
Os autores propõem um arcabouço de agrupamento suave (soft clustering) baseado em teoria da informação que identifica agrupamentos formulaicos através da análise dos perfis de autoinformação de unidades textuais. A premissa central é que segmentos formulaicos exibem menor entropia (maior previsibilidade) e, portanto, menor autoinformação ($-\log p(x)$) sob um modelo de probabilidade condicionado ao agrupamento, em comparação com segmentos não formulaicos.

O método opera através de duas formulações complementares dependendo da representação dos dados:

1. Formulação Discreta (Dados Categóricos):

   • Projetada para características binárias ou baseadas em contagem (ex: presença/ausência de n-gramas ou contagens de frequência).
   • Utiliza modelos de probabilidade Bernoulli, Binomial ou Multinomial para estimar as probabilidades das características diretamente a partir de frequências de amostras ponderadas.
   • Objetivo: Minimiza a entropia cruzada entre a distribuição empírica dos dados e a distribuição do modelo. Não requer estimativa de covariância, evitando assim a instabilidade em regimes esparsos.
   • Mecanismo: O algoritmo otimiza pesos de pertencimento suave ($s_i \in [0, 1]$) para cada amostra para maximizar a verossimilhança dos dados sob dois agrupamentos candidatos. Após a convergência, os pesos contínuos são limiares para produzir uma partição binária. O agrupamento formulaico é identificado a posteriori examinando qual agrupamento exibe uma concentração de características recorrentes e um perfil de autoinformação média inferior.

2. Formulação Contínua (Dados Gaussianos Multivariados):

   • Projetada para representações vetoriais de valores reais (ex: embeddings neurais).
   • Modela os dados como Gaussianas multivariadas.
   • Objetivo: Define uma função de pontuação heurística baseada na distribuição de autoinformação das amostras dentro de um agrupamento candidato. A pontuação combina a média e o desvio padrão dos valores de autoinformação com um inverso da norma dos pesos das amostras para penalizar agrupamentos trivialmente pequenos.
   • Mecanismo: Embora esta formulação estime e inverta uma matriz de covariância ponderada e regularizada (semelhante às abordagens Gaussianas clássicas), o objetivo visa especificamente a dispersão e a previsibilidade do agrupamento. O método permanece sensível a tamanhos efetivos de amostra pequenos, mas é empiricamente robusto sob as configurações de escala de covariância testadas.

Otimização
O algoritmo emprega um esquema de otimização numérica restrita para atualizar o vetor de atribuição suave $\vec{s}$. Diferente do agrupamento rígido (hard clustering), esta abordagem "suave" permite o pertencimento intermediário durante o processo de busca, relaxando o problema de atribuição discreta em um problema contínuo para evitar soluções indeterminadas. O processo itera até a convergência, após o qual os agrupamentos são caracterizados por seus perfis de autoinformação e características recorrentes distintivas.

Principais Contribuições

1. Função Objetivo Inovadora: O artigo introduz um objetivo de agrupamento baseado em distribuições de autoinformação ponderadas em vez de distância geométrica (ex: Euclidiana) ou minimização pura de variância. Isso visa diretamente a definição de previsibilidade inerente ao texto formulaico via teoria da informação.
2. Dupla Formulação: O desenvolvimento de formulações tanto discretas (livres de covariância) quanto contínuas (Gaussianas regularizadas) permite que o método seja aplicado a diversas representações textuais, desde contagens tradicionais de n-gramas até modernos embeddings neurais.
3. Robustez em Regimes Esparsos: O método é especificamente projetado para lidar com conjuntos de dados de alta dimensionalidade e poucas amostras, comuns em análises estilométricas e de textos históricos, onde métodos tradicionais baseados em covariância frequentemente falham.
4. Identificação Não Supervisionada de Formulaicidade: A abordagem não requer rótulos predefinidos para "formulaico" vs. "não formulaico". Em vez disso, ela recupera partições e interpreta a natureza formulaica de um agrupamento com base em suas propriedades estatísticas internas (baixa autoinformação, alta recorrência de características).

Resultados Experimentais
Os autores testaram o método contra algoritmos de agrupamento padrão (GMM, k-means, DBSCAN, Agrupamento de Entropia Cruzada e EM Regularizado) em dados sintéticos e reais:

• Dados Categóricos Sintéticos: Em experimentos simulando textos esparsos e de alta dimensionalidade com estruturas formulaicas implantadas, o método proposto superou consistentemente o GMM, k-means e DBSCAN na recuperação dos agrupamentos implantados, particularmente quando a razão amostra-dimensão era pequena.
• Dados Gaussianos Sintéticos: O método demonstrou robustez ao separar classes Gaussianas com diferentes escalas de covariância, desempenhando de forma comparável ou superior a rotinas estabelecidas (CEC, EM Reg.) através de várias amostras e níveis de ruído.
• Aplicação à Bíblia Hebraica (Pentateuco):
  • Gênesis: Isolou com sucesso listas genealógicas (altamente formulaicas) do material narrativo circundante. O método alcançou alta concordância com anotações de especialistas em uma ampla gama de configurações de parâmetros (tamanho de n-grama, tamanho de janela, contagem de características), superando significativamente o k-means.
  • Êxodo: Separou efetivamente as instruções legais/cultuais Sacerdotais (P) da narrativa não Sacerdotal. A abordagem baseada em informação recuperou a divisão especialista P/não-P em uma proporção maior de configurações de parâmetros (68,0% nos dois intervalos superiores de MCC) em comparação ao k-means (30,0%).
  • Levítico: Testou a distinção entre a fonte Sacerdotal (P) e o Código de Santidade (H). O método identificou com sucesso uma separação estatisticamente significativa, recuperando a partição especialista P/H em 45,5% das configurações (vs. 29,8% para k-means). Notavelmente, os resultados mostraram que a escala linguística específica (tamanho de n-grama e comprimento de janela) influencia qual estrato (P ou H) aparece mais formulaico, sugerindo que diferentes escalas linguísticas destacam diferentes tipos de regularidade estrutural.

Significância e Alegações
O artigo afirma que a previsibilidade estrutural, quantificada via autoinformação por amostra, captura uma dimensão central da organização textual que alinha e esclarece hipóteses tradicionais de crítica de fontes.

• Validação Independente: O método fornece um meio não supervisionado e orientado por dados para verificar estratos literários hipotéticos sem depender de marcadores linguísticos selecionados a dedo ou características predefinidas.
• Interpretação Matizada: A variabilidade nos resultados através das configurações de parâmetros não é vista como instabilidade, mas como um recurso interpretativo. Ela revela que a formulaicidade é dependente de escala; diferentes granularidades linguísticas (ex: 3-gramas vs. 5-gramas) podem destacar diferentes restrições estruturais (ex: instruções procedimentais vs. molduras legislativas).
• Aplicabilidade: O arcabouço é apresentado como uma ferramenta flexível para analisar documentos textuais em camadas, editados ou compostos em corpora literários, históricos, jurídicos e técnicos, oferecendo uma base quantitativa para compreender a interação entre criatividade e restrição na transmissão textual.

Os autores mantêm uma postura modesta, reconhecendo que, embora o método identifique efetivamente padrões estilísticos distintos, ele não resolve todos os debates relativos ao desenvolvimento histórico desses textos. Em vez disso, oferece um arcabouço quantitativo para explorar a estrutura interna de textos moldados por processos complexos de autoria e edição.