💬 NLP

WavePhaseNet: A DFT-Based Method for Constructing Semantic Conceptual Hierarchy Structures (SCHS)

Este artículo propone WavePhaseNet, un método que reformula los mecanismos de atención de los LLM a través de la teoría de la medida y el análisis de frecuencias para construir una Estructura de Jerarquía Conceptual Semántica mediante la Transformada de Fourier Discreta, permitiendo así la reducción de la dimensionalidad y la regularización cohomológica para mitigar teóricamente las alucinaciones y forzar la consistencia lógica.

Autores originales: Kiyotaka Kasubuchi, Kazuo Fukiya

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kiyotaka Kasubuchi, Kazuo Fukiya

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñar a una computadora a entender el lenguaje humano. Durante mucho tiempo, hemos usado una herramienta llamada "Transformer" para hacer esto. Piensa en un Transformer como un lector súper rápido y súper atento que escanea una oración palabra por palabra, adivinando la siguiente palabra basándose en lo que vino antes. Es increíble escribiendo historias y charlando, pero tiene un fallo extraño: a veces inventa cosas con total confianza. Llamamos a estos hechos inventados "alucinaciones".

¿Por qué sucede esto? El artículo sugiere que no es solo porque la computadora no haya estudiado lo suficiente. En cambio, es un problema estructural, como intentar dibujar un círculo perfecto usando solo líneas rectas. La computadora ve el lenguaje como un promedio matemático suave de posibilidades, pero el mundo real es desordenado, dentado y lleno de verdades específicas que no siempre encajan en esos promedios suaves. Para solucionar esto, los autores proponen una nueva forma de ver el lenguaje, no solo como una lista de palabras, sino como una canción con diferentes notas musicales. Utilizan una herramienta matemática llamada Transformada de Fourier Discreta (DFT), que es la misma matemática utilizada para convertir una onda de sonido compleja en una lista simple de frecuencias (como bajos, medios y agudos). Al tratar las oraciones como música, esperan separar el "significado general" de los "detalles pequeños" de la gramática, haciendo que sea más difícil que la computadora se confunda y se invente cosas.

El Problema: Cuando la Matemática se vuelve demasiado Suave

Los autores, Kiyotaka Kasubuchi y Kazuo Fukiya, comienzan señalando un fallo fundamental en cómo funcionan los modelos de IA actuales. Argumentan que estos modelos tratan el lenguaje como una curva suave y continua donde todo se mezcla. En el mundo real, sin embargo, la verdad suele ser dentada y específica. Cuando el modelo intenta promediar todas las posibilidades para encontrar la siguiente palabra "más probable", a veces crea una oración que suena perfecta gramaticalmente pero que es completamente falsa. Esto no es un error; los autores sugieren que es una característica de la matemática misma. Debido a que el modelo está construido sobre promedios, no puede representar perfectamente las verdades afiladas y no promediadas de la realidad.

La Solución: Convirtiendo Oraciones en Música

Para solucionar esto, el artículo introduce un nuevo método llamado WavePhaseNet. Imagina que tienes una oración escrita en un papel. En la forma antigua, la computadora la lee de izquierda a derecha, palabra por palabra. En WavePhaseNet, la computadora primero convierte esa oración en un acorde musical.

Utilizando un proceso matemático llamado Transformada de Fourier Discreta (DFT), el modelo descompone la oración en diferentes "frecuencias", tal como un ingeniero de sonido separa una canción en bajos, batería y voces.

Frecuencias Bajas: Representan los "bajos" de la oración: la idea general, el tema principal y la intención global. (Ej. "Esta historia trata de un gato").
Frecuencias Altas: Representan los "agudos": los cambios rápidos, la gramática específica y los pequeños detalles de expresión. (Ej. "El gato está sentado sobre la alfombra").

Los autores proponen que, al separar estas frecuencias, la computadora puede manejar la "idea principal" y los "detalles pequeños" de manera diferente. Puede fijar el significado principal (las frecuencias bajas) para que no se desvíe, mientras permite que los detalles (las frecuencias altas) cambien. Esto crea una Estructura Jerárquica Conceptual Semántica (SCHS), que es una forma elegante de decir que la computadora construye un mapa claro y organizado de lo que las cosas significan, en lugar de una nube borrosa de conjeturas.

El Número Mágico: Encogiendo el Cerebro

Uno de los reclamos más sorprendentes del artículo es cuánto espacio necesita este nuevo método. Los modelos potentes actuales, como el que está detrás de GPT-4, utilizan una cantidad masiva de espacio para almacenar información; específicamente, 24,576 dimensiones (piensa en estas como 24,576 diferentes deslizadores o perillas que controlan el significado de una palabra).

Los autores sugieren que, debido a que el lenguaje sigue un patrón natural llamado Ley de Zipf (donde unas pocas palabras se usan muy a menudo y muchas se usan raramente), la energía de la oración se concentra en las frecuencias más bajas. Realizaron un análisis matemático y descubrieron que no necesitas todas las 24,576 dimensiones para mantener intacto el significado.

Calcularon que puedes reducir el modelo a solo 3,000 dimensiones sin perder el significado o la intención central. Es como darse cuenta de que no necesitas un televisor 4K para disfrutar de una película; una pantalla 1080p de alta calidad es suficiente para ver la historia claramente. Al reducir el tamaño de 24,576 a 3,000, el modelo se vuelve más eficiente y, crucialmente, menos propenso a alucinar porque se ve obligado a enfocarse en la verdad esencial de "baja frecuencia" en lugar de perderse en el ruido de las frecuencias altas.

Pegando las Piezas: El Truco de la "Cohomología"

Incluso con la analogía de la música, todavía existe el riesgo de que la computadora se confunda al mirar diferentes partes de una oración. Para resolver esto, los autores utilizan un concepto de una rama de las matemáticas llamada cohomología.

Imagina que estás intentando armar un rompecabezas gigante, pero solo tienes pequeños grupos de amigos mirando diferentes secciones. A veces, el Amigo A piensa que una pieza va de una forma, y el Amjeto B piensa que va de otra. En los modelos antiguos, estos desacuerdos podrían simplemente suavizarse, resultando en una imagen rota.

WavePhaseNet trata estos grupos locales como una red. Verifica si las "ideas locales" de diferentes partes de la oración concuerdan entre sí. Si no es así, calcula una "puntuación de desacuerdo" (llamada coboundary). El sistema utiliza entonces una técnica matemática llamada descomposición de Hodge para encontrar la solución "armónica": la versión de la historia que es máximamente consistente en todas las piezas locales. Es como un árbitro que asegura que cada parte de la historia concuerde con el todo lo más posible, ayudando a evitar que la IA diga "El gato está sobre la alfombra" en una oración y "El gato está volando" en la siguiente. Sin embargo, el artículo señala que algunas "obstrucciones verdaderas" o contradicciones semánticas inevitables aún pueden permanecer, algo que el sistema busca reducir en lugar de eliminar por completo.

Lo Que Esto Significa para el Futuro

El artículo no afirma haber resuelto la IA para siempre, pero ofrece una nueva forma de pensar en el problema. En lugar de simplemente lanzar más datos al modelo, sugiere cambiar la matemática subyacente. Al tratar el lenguaje como una jerarquía basada en frecuencias y usar estos controles "armónicos" para asegurar la consistencia, los autores creen que podemos construir una IA que razone de forma más lógica y suprima las alucinaciones.

Demuestran que, al usar la DFT para separar la "intención" de la "expresión", y al reducir el modelo a sus 3,000 dimensiones esenciales, podemos crear un sistema que no solo es más rápido, sino también más riguroso. Es un cambio de pedirle a la IA que "adivine la siguiente palabra" a pedirle que "entienda la canción" antes de cantar una nota. Aunque el artículo es teórico y se basa en demostraciones matemáticas y simulaciones, proporciona un esquema convincente para un futuro donde las alucinaciones de la IA se reduzcan significamente, siendo reemplazadas por una comprensión del significado más rigurosa y matemáticamente sólida.

Resumen Técnico: WavePhaseNet

1. Planteamiento del Problema

El artículo identifica la alucinación en los Modelos de Lenguaje de Gran Escala (LLMs) no meramente como una consecuencia de la insuficiencia de datos de entrenamiento, sino como una limitación estructural inevitable que surge del desajuste matemático entre la arquitectura del modelo y la naturaleza de la verdad semántica.

Formulación Teórica de la Medida: Los autores reformulan los modelos autorregresivos como aproximadores secuenciales de expectativas condicionales sobre $\sigma$ -álgebras. El espacio de incrustación (embedding) se trata como un espacio $L^p$ convexo (un espacio normado que representa la divergencia entre el colector de la verdad y la distribución de aprendizaje).
El Desajuste Central: El "conjunto de la verdad" del mundo real es generalmente no convexo y no lineal, mientras que el espacio de incrustación es lineal y convexo.
La Consecuencia: Debido a que el modelo optimiza para una "optimalidad promedio plausible" (a través de la integral de Lebesgue/expectativa) en lugar de valores de verdad puntuales, inevitablemente genera salidas que son estadísticamente probables pero fácticamente falsas (alucinaciones). La superposición lineal de componentes semánticos permite la creación de proposiciones inexistentes.
Limitaciones Actuales: Los mecanismos existentes, como la autoatención, gestionan las dependencias de largo alcance pero carecen de un mecanismo directo para suprimir las inconsistencias semánticas entre contextos locales superpuestos. Además, los espacios de incrustación de alta dimensión (por ejemplo, las 24,576 dimensiones de GPT-4) contienen una redundancia y ruido significativos, lo que dificulta el razonamiento riguroso.

2. Metodología: WavePhaseNet

La solución propuesta, WavePhaseNet, construye una Estructura de Jerarquía Conceptual Semántica (SCHS) dentro del espacio de incrustación utilizando la Transformada Discreta de Fourier (DFT) y la Regularización Cohomológica.

2.1 Descomposición Espectral mediante DFT

El método aplica una DFT a lo largo de la dimensión de la secuencia (orden de los tokens) de la matriz de increcustación. Esto descompone el significado semántico de una oración en bandas de frecuencia:

Bajas Frecuencias ( $k \approx 0$ ): Representan temas globales, resúmenes e intención. Actúan como un "vector de resumen" que contribuye uniformemente a todas las posiciones.
Frecuencias Medias: Representan la estructura del discurso y las transiciones semánticas.
Altas Frecuencias: Representan la sintaxis local, la pragmática y los detalles de la expresión.

Al separar estas bandas, el modelo puede manipular la intención global y la expresión local de forma independiente. El artículo demuestra que esta descomposición es matemáticamente invertible (la reconstrucción perfecta es posible), lo que garantiza que no haya pérdida de información durante la transformación.

2.2 Reducción de Dimensionalidad (El Límite de las 3,000 Dimensiones)

Aprovechando la Ley de Zipf y la estructura espectral $1/f$ inherente al lenguaje natural, el artículo argumenta que la energía de las amplitudes de incrustación decae como una ley de potencia ( $E(f) \propto 1/f^\alpha$ ).

Análisis de Energía Acumulada: Los autores derivan teóricamente que para un espacio de 24,576 dimensiones (típico de GPT-4), el límite inferior para una "representación completa" (preservar el significado y la intención sin colapso) es de aproximadamente 3,000 dimensiones.
Justificación: Por debajo de este umbral, las oraciones semánticamente similares se vuelven indistinguibles de las sintácticamente similares. Reducir la dimensionalidad a este límite suprime el ruido de alta frecuencia mientras preserva la estructura semántica central.

2.3 Regularización Cohomológica (Pegado Semántico)

Para abordar las inconsistencias locales, el método introduce un principio de regularización inspirado en la cohomología:

Ventanas Locales: La secuencia de tokens está cubierta por ventanas locales superpuestas. Cada ventana produce una inferencia local (una "sección").
Energía de Coborda (Coboundary Energy): Las inconsistencias entre inferencias locales adyacentes se cuantifican como una coborda (la diferencia entre secciones adyacentes).
Proyección Armónica: Utilizando la teoría de Hodge, el modelo define un Laplaciano de grafo sobre la cobertura de las ventanas. El objetivo es proyectar el conjunto de representaciones locales sobre el subespacio armónico (el núcleo del Laplaciano), que representa la representación global máximamente consistente.
Función de Pérdida: El objetivo de entrenamiento incluye un término que penaliza la norma al cuadrado de la coborda ( $\|\delta s\|^2$ ), obligando a las inferencias locales a "pegarse" en un todo globalmente consistente.

2.4 Integración Arquitectónica

WavePhaseNet está diseñado para integrarse en las capas Transformer:

Módulo Espectral: Aplica FFT a las incrustaciones de la secuencia para separar las bandas de frecuencia.
Módulo de Intención: Codifica los componentes de baja frecuencia en un vector de intención global.
Generador: Genera condicionalmente los componentes de alta frecuencia basados en la intención.
Regularizador: Inyecta la pérdida de cohomología (penalización de coborda) y las restricciones de divergencia KL espectral en el bucle de entrenamiento.

3. Contribuciones Clave

Definición Teórica de Alucinación: El artículo proporciona una definición matemática rigurosa de la alucinación como el resultado del desajuste entre el conjunto de la verdad no convexo y el espacio de incrustación $L^p$ convexo, enmarcándola como una inevitabilidad estructural de los marcos autorregresivos actuales.
Construcción de SCHS: Propone un método novedoso para construir explícitamente una Estructura de Jerarquía Conceptual Semántica dentro del espacio de incrustación usando DFT, yendo más allá de la mezcla implícita de tokens hacia una separación semántica basada explícitamente en frecuencias.
Prueba de Reducción de Dimensionalidad: Deriva y justifica teóricamente la reducción de las incrustaciones de alta dimensión (ej. 24,576) a un límite inferior (~3,000) basado en el análisis de energía acumulada y la ley de Zipf, afirmando que esto preserva el rigor semántico mientras suprime la alucinación.
Consistencia Cohomológica: Introduce un principio de regularización computable utilizando la cohomología y la descomposición de Hodge para cuantificar y minimizar las inconsistencias semánticas entre inferencias locales, tratando la consistencia como una propiedad topológica que puede ser optimizada.

4. Resultados y Afirmaciones

Reconstrucción Perfecta: El artículo demuestra, mediante ejemplos numéricos (ej. $N=4, d=4$ ), que la descomposición mediante DFT y la transformada inversa reconstruyen perfectamente la incrustación original, probando la solidez matemática del enfoque.
Manipulación Semántica: Al aplicar máscaras de frecuencia (ej. preservar las bajas frecuencias mientras se suprimen las altas), el método permite "dar forma a la expresión preservando la intención", una capacidad que los autores afirman es difícil de lograr con los mecanismos de atención estándar.
Derivación Teórica: El artículo afirma haber derivado el límite inferior de 3,000 dimensiones para modelos tipo GPT-4, mostrando que las dimensiones más allá de este punto contribuyen principalmente al ruido o a la variación estilística en lugar del significado semántico central.
Comparación con FNet: A diferencia de FNet, que utiliza DFT principalmente para la eficiencia computacional y la mezcla de tokens, WavePhaseNet utiliza la DFT como una operación de descomposición espectral para construir explícitamente jerarquías semánticas y controlar la alucinación.

5. Significado

El artículo posiciona a WavePhaseNet como un cambio fundamental en la forma en que los LLMs gestionan el razonamiento y la verdad. Al pasar de un enfoque puramente estadístico y a nivel de token de la autorregresión a un marco espectral y topológico, el método pretende:

Transformar la alucinación "inevitable" de los LLMs en una variable controlable mediante restricciones estructurales.
Permitir un razonamiento riguroso al separar la intención global de la sintaxis local, permitiendo que el modelo "pegue" los fragmentos de conocimiento de manera consistente.
Proporcionar un camino hacia la próxima generación de modelos de lenguaje orientados al razonamiento que operen con validez matemática, reduciendo potencialmente la necesidad de una ingeniería de prompts compleja al hacer que la jerarquía conceptual sea intrínseca al espacio de incrustación.

Los autores concluyen que, al tratar la cohomología no solo como un invariante topológico sino como un principio de regularización computable, es posible controlar la consistencia semántica y mantener la validez de los procesos de razonamiento del conocimiento mediante el pegado armónico de las inferencias locales.