Resumen Técnico: Un Perfil Geométrico de la Información Semántica en el Texto

Declaración del Problema

Los métodos actuales para cuantificar la información en el texto enfrentan limitaciones fundamentales. La teoría de la información de Shannon mide la incertidumbre sobre secuencias de símbolos, pero permanece intencionalmente indiferente al contenido semántico; textos con estadísticas de tokens idénticas pueden poseer significados vastamente diferentes. Por el contrario, las métricas de pares contemporáneas (p. ej., BERTScore, ROUGE) miden la similitud entre dos textos en lugar de caracterizar la riqueza semántica interna de un solo texto. Además, los relatos filosóficos sobre la información semántica suelen carecer de computabilidad en datos del mundo real.

Existe la necesidad de un marco que mida el contenido semántico basado en la estructura de las representaciones de significado (embeddings) en lugar de la impredecibilidad sintáctica, reconociendo al mismo tiempo que la información semántica puede no reducirse a un único escalar universal.

Metodología

El artículo propone un marco geométrico fundamentado en embeddings de oraciones. Sea $T$ un texto particionado en segmentos, mapeado a un espacio vectorial de alta dimensión mediante un modelo de embedding $E$. El marco opera a través de los siguientes pasos:

1. Desduplicación y Cuantos Semánticos: Para evitar que la repetición distorsione la geometría, el marco agrupa segmentos altamente similares utilizando un agrupamiento aglomerativo con un umbral de distancia de coseno $\tau$. Cada grupo es reemplazado por un centroide, formando un conjunto de "cuantos semánticos" $\tilde{T}$. El umbral $\tau$ actúa como un parámetro explícito de resolución de la medición.
2. Unicidad Condicional al Marco: Los autores derivan primero una medida escalar, la Ley de Información Semántica (SIL), $I_E(T) = \|\mu_T - \mu_0\| \cdot \text{rank}(C_T)$, basada en seis axiomas (invarianza de paráfrasis, no incremento de redundancia, monotonicidad de novedad, aditividad de ideas, invarianza ortogonal y continuidad). Sin embargo, las pruebas empíricas revelan que este escalar es demasiado tosco, ya que el rango se satura en espacios neuronales y el término de novedad domina.
3. El Perfil de Tres Coordenadas: Para abordar la tosquedad de la SIL, el marco define un perfil $P_E(T) = (N, B, I)$:
   • Novedad ($N$): La distancia de Mahalanobis de la media del embedding del texto respecto a una media base neutral, con compresión logarítmica.
   • Amplitud ($B$): El rango efectivo de la covarianza del centroide desduplicado, ponderado por la distancia de coseno radial media desde el centroide.
   • Integración ($I$): La conectividad entre ideas, medida mediante la similitud de coseno del segundo vecino más cercano (2-NN).
4. Resúmenes Escalares: Reconociendo que diferentes aplicaciones requieren distintas propiedades, el artículo define dos escalares prácticos derivados del perfil:
   • $S_{minmax}$: Utiliza normalización min-max, priorizando la estabilidad analítica (continuidad de Lipschitz) para el análisis teórico.
   • $S_{rank}$: Utiliza normalización de rango, priorizando la robustez ordinal para la clasificación y comparación de documentos.

Contribuciones Clave

1. Teorema de Unicidad Condicional al Marco: El artículo demuestra que, dentro de un modelo de embedding y una base fijos, seis axiomas naturales determinan de forma única una medida escalar de información semántica salvo una constante de escala. Este resultado establece que la información semántica está indexada por la representación, no es una ley universal como la entropía de Shannon.
2. El Perfil Semántico y el Cuanto: Introduce un perfil de tres coordenadas (Novedad, Amplitud, Integración) y formaliza el "cuanto semántico" como una unidad mínima discreta de estructura, haciendo explícita la resolución de la medición mediante el umbral de agrupamiento $\tau$.
3. El Teorema de No-Go (Triángulo de Compromiso): Una contribución teórica central es la demostración de que ningún resumen escalar del perfil puede satisfacer simultáneamente tres propiedades deseables:
   • Estabilidad Analítica: Estabilidad bajo paráfrasis y composición de forma cerrada.
   • Robustez Ordinal: Robustez a través de escalas de texto y perturbaciones de bootstrap.
   • Comparabilidad entre Representaciones: Comparabilidad entre diferentes modelos de embedding sin reajuste.
     El teorema demuestra que estas propiedades son mutuamente excluyentes; los escalares prácticos deben ocupar esquinas distintas de este triángulo de compromiso.
4. Caracterización Variacional de la Amplitud: El artículo conecta la coordenada de amplitud con el log-determinante de una selección de máxima a posteriori de un Proceso de Punto Determinantal (DPP). Esto proporciona un fundamento de optimización teórica para la amplitud, mostrando que es equivalente al log-volumen de un subconjunto de segmentos que maximiza la diversidad.

Resultados Empíricos

El marco fue validado a través de 23 categorías sintéticas, 5 novelas de Project Gutenberg y 3 modelos de embedding.

• Desempeño Ordinal: La configuración recomendada, $S_{rank}$ con pesos $(0.5, 3.0, 1.0)$ e integración 2-NN, superó 25 de 28 verificaciones ordinales como estimaciones puntuales. Tras la corrección de Benjamini–Hochberg, 21 de 28 verificaciones permanecieron significativas. Esto superó a siete líneas base, incluyendo la entropía de unigrama, la novedad euclidiana bruta y una señal de novedad basada en BERTScore.
• Validación del Compromiso: Los resultados empíricos confirmaron el teorema de no-go. $S_{minmax}$ logró estabilidad analítica pero falló en robustez ordinal (21/28 verificaciones), mientras que $S_{rank}$ logró robustez ordinal pero falló en estabilidad analítica (21% de deriva bajo paráfrasis). Ningún escalar satisfizo más de una propiedad simultáneamente.
• Correlación de Amplitud: En 507 capítulos de Gutenberg, la coordenada de amplitud $B$ mostró una correlación de Spearman de $\rho = 0.985$ con el log-volumen del DPP, validando la caracterización variacional.
• Estabilidad entre Modelos: Se encontró que las coordenadas del perfil son más estables a través de diferentes modelos de embedding ($\rho \in [0.92, 0.98]$) que cualquier escalar derivado ($\rho \in [0.79, 0.84]$), lo que respalda la afirmación de que el perfil es el objeto fundamental.

Significado y Reivindicaciones

El artículo argumenta que la información semántica en el texto se entiende mejor no como un único número universal, sino como un perfil estructurado indexado por la representación.

• Cambio Teórico: El trabajo se aleja de la búsqueda de un escalar universal tipo "estilo Shannon" para la semántica. En su lugar, postula que el perfil es el objeto teórico, mientras que los resúmenes escalares son conveniencias prácticas cuyas formas específicas están dictadas por la imposibilidad de satisfacer todas las exigencias operativas simultáneamente.
• Supuestos Explícitos: Al hacer explícito el aparato de medición (modelo de embedding, segmentación, base, umbral, referencia de normalización), el marco permite a los profesionales inspeccionar y calibrar sus compromisos, localizando los desacuerdos en los supuestos del aparato en lugar de en el marco mismo.
• Interpretabilidad: Las tres coordenadas corresponden a distintas intuiciones semánticas (alejamiento del discurso genérico, diversidad de ideas y conectividad), lo que permite diagnósticos (por ejemplo, distinguir entre resúmenes fieles y fuera de tema) que un solo escalar confundiría.

El artículo concluye que el triángulo de compromiso es una propiedad estructural del mapa del perfil al escalar, no un defecto de ninguna construcción específica. El marco proporciona un método riguroso y computable para medir la estructura semántica reconociendo las limitaciones inherentes de reducir dicha estructura a un solo valor.