Resumo Técnico: Um Perfil Geométrico da Informação Semântica no Texto

Declaração do Problema

Os métodos atuais para quantificar a informação em textos enfrentam limitações fundamentais. A teoria da informação de Shannon mede a incerteza sobre sequências de símbolos, mas permanece intencionalmente indiferente ao conteúdo semântico; textos com estatísticas de tokens idênticas podem possuir significados vastamente diferentes. Por outro lado, métricas de pares contemporâneas (ex: BERTScore, ROUGE) medem a similaridade entre dois textos em vez de caracterizar a riqueza semântica interna de um único texto. Além disso, relatos filosóficos da informação semântica frequentemente carecem de computabilidade em dados do mundo real.

Há uma necessidade de um framework que meça o conteúdo semântico com base na estrutura das representações de significado (embeddings) em vez da imprevisibilidade sintática, enquanto reconhece que a informação semântica pode não se reduzir a um único escalar universal.

Metodologia

O artigo propõe um framework geométrico fundamentado em embeddings de sentenças. Seja $T$ um texto particionado em segmentos, mapeado para um espaço vetorial de alta dimensão via um modelo de embedding $E$. O framework opera através dos seguintes passos:

1. Deduplicação e Quanta Semânticos: Para evitar que a repetição distorça a geometria, o framework agrupa segmentos altamente similares usando agrupamento aglomerativo com um limiar de distância de cosseno $\tau$. Cada cluster é substituído por um centroide, formando um conjunto de "quanta semânticos" $\tilde{T}$. O limiar $\tau$ atua como um parâmetro explícito de resolução de medição.
2. Unicidade Condicional ao Frame: Os autores primeiro derivam uma medida escalar, a Lei da Informação Semântica (SIL), $I_E(T) = \|\mu_T - \mu_0\| \cdot \text{rank}(C_T)$, baseada em seis axiomas (invariância de paráfrase, não-aumento de redundância, monotonicidade de novidade, aditividade de ideia, invariância ortogonal e continuidade). No entanto, testes empíricos revelam que este escalar é demasiado grosseiro, pois o rank satura em espaços neurais e o termo de novidade domina.
3. O Perfil de Três Coordenadas: Para abordar a grosseria da SIL, o framework define um perfil $P_E(T) = (N, B, I)$:
   • Novidade ($N$): A distância de Mahalanobis da média do embedding do texto em relação a uma média de baseline neutra, com compressão logarítmica.
   • Amplitude ($B$): O rank efetivo da covariância dos centroides deduplicados, ponderado pela distância de cosseno radial média em relação ao centroide.
   • Integração ($I$): A conectividade entre ideias, medida via similaridade de cosseno do segundo vizinho mais próximo (2-NN).
4. Resumos Escalares: Reconhecendo que diferentes aplicações exigem propriedades distintas, o artigo define dois escalares práticos derivados do perfil:
   • $S_{minmax}$: Utiliza normalização min-max, priorizando a estabilidade analítica (continuidade de Lipschitz) para análise teórica.
   • $S_{rank}$: Utiliza normalização de rank, priorizando a robustez ordinal para classificação e comparação de documentos.

Principais Contribuições

1. Teorema da Unicidade Condicional ao Frame: O artigo prova que, dentro de um modelo de embedding e baseline fixos, seis axiomas naturais determinam unicamente uma medida escalar de informação semântica até uma constante de escala. Este resultado estabelece que a informação semântica é indexada à representação, não sendo uma lei universal como a entropia de Shannon.
2. O Perfil Semântico e o Quantum: Introduz um perfil de três coordenadas (Novidade, Amplitude, Integração) e formaliza o "quantum semântico" como uma unidade mínima discreta de estrutura, tornando explícita a resolução da medição via o limiar de agrupamento $\tau$.
3. O Teorema de Não-Existência (Triângulo de Trade-off): Uma contribuição teórica central é a prova de que nenhum resumo escalar do perfil pode satisfazer simultaneamente três propriedades desejáveis:
   • Estabilidade Analítica: Estabilidade sob paráfrase e composição de forma fechada.
   • Robustez Ordinal: Robustez através de escalas de texto e perturbações de bootstrap.
   • Comparabilidade entre Representações: Comparabilidade entre diferentes modelos de embedding sem necessidade de reajuste.
     O teorema demonstra que estas propriedades são mutuamente exclusivas; os escalares práticos devem ocupar cantos distintos deste triângulo de trade-off.
4. Caracterização Variacional da Amplitude: O artigo conecta a coordenada de amplitude ao log-determinante de uma seleção de máxima a posteriori de um Processo de Ponto Determinantal (DPP). Isso fornece uma fundação teórica de otimização para a amplitude, mostrando que ela é equivalente ao log-volume de um subconjunto que maximiza a diversidade.

Resultados Empíricos

O framework foi validado através de 23 categorias sintéticas, 5 romances do Project Gutenberg e 3 modelos de embedding.

• Desempenho Ordinal: A configuração recomendada, $S_{rank}$ com pesos $(0.5, 3.0, 1.0)$ e integração 2-NN, passou em 25 de 28 verificações ordinais como estimativas pontuais. Após a correção de Benjamini–Hochberg, 21 de 28 verificações permaneceram significativas. Isto superou sete baselines, incluindo entropia de unigrama, novidade euclidiana bruta e um sinal de novidade baseado em BERTScore.
• Validação do Trade-off: Resultados empíricos confirmaram o teorema de não-existência. $S_{minmax}$ alcançou estabilidade analítica, mas falhou na robustez ordinal (21/28 verificações), enquanto $S_{rank}$ alcançou robustez ordinal, mas falhou na estabilidade analítica (21% de desvio sob paráfrase). Nenhum escalar satisfez mais de uma propriedade simultaneamente.
• Correlação de Amplitude: Em 507 capítulos de Gutenberg, a coordenada de amplitude $B$ mostrou uma correlação de Spearman de $\rho = 0.985$ com o log-volume do DPP, validando a caracterização variacional.
• Estabilidade entre Modelos: As coordenadas do perfil foram encontradas como mais estáveis entre diferentes modelos de embedding ($\rho \in [0.92, 0.98]$) do que qualquer escalar derivado ($\rho \in [0.79, 0.84]$), apoiando a afirmação de que o perfil é o objeto fundamental.

Significância e Alegações

O artigo argumenta que a informação semântica no texto é melhor compreendida não como um único número universal, mas como um perfil estruturado indexado à representação.

• Mudança Teórica: O trabalho afasta-se da busca por um escalar universal do tipo "Shannon" para a semântica. Em vez disso, postula que o perfil é o objeto teórico, enquanto os resumos escalares são conveniências práticas cujas formas específicas são ditadas pela impossibilidade de satisfazer todos os requisitos operacionais simultaneamente.
• Premissas Explícitas: Ao tornar explícito o aparato de medição (modelo de embedding, segmentação, baseline, limiar, referência de normalização), o framework permite que os praticantes inspecionem e calibrem seus compromissos, localizando divergências em escolhas específicas do aparato, em vez de no framework em si.
• Interpretabilidade: As três coordenadas correspondem a intuições semânticas distintas (afastamento do discurso genérico, diversidade de ideias e conectividade), permitindo diagnósticos (ex: distinguir resumos fiéis de resumos fora do tópico) que um escalar único poderia confundir.

O artigo conclui que o triângulo de trade-off é uma propriedade estrutural do mapeamento do perfil para o escalar, não um defeito de qualquer construção específica. O framework fornece um método rigoroso e computável para medir a estrutura semântica, ao mesmo tempo que reconhece as limitações inerentes de reduzir essa estrutura a um único valor.