🤖 machine learning

Geometry-Guided Layerwise FFN Width Allocation in Transformers

Este artículo propone un método guiado por la geometría para asignar dinámicamente el ancho de la Red de Alimentación hacia Adelante (FFN) a través de las capas del Transformer basándose en métricas geométricas como la distorsión de Gromov-Wasserstein y la homología persistente, demostrando que tales cronogramas basados en datos reducen significativamente la pérdida de validación en comparación con las asignaciones de ancho uniformes o diseñadas a mano.

Autores originales: Timur Mudarisov, Mikhail Burtsev, Radu State

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Timur Mudarisov, Mikhail Burtsev, Radu State

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo una biblioteca gigante de varios pisos donde cada piso es una sala dedicada a organizar un tipo específico de información. En el mundo de la inteligencia artificial, estas "bibliotecas" se llaman Transformers, y son los cerebros detrás de muchos chatbots y herramientas de lenguaje modernos. Dentro de cada sala, hay un equipo de trabajadores (llamado Red de Propagación hacia Adelante, o FFN) cuyo trabajo es tomar la información que entra, pensar en ella y pasarla a continuación. Durante mucho tiempo, los ingenieros construyeron estas bibliotecas con una regla estricta: cada sala recibe exactamente el mismo número de trabajadores, sin importar en qué piso se encuentre. Es como darle el mismo presupuesto al cuarto de almacenamiento del sótano que al lujoso salón de lectura del último piso.

Pero, ¿qué pasaría si esa regla fuera un desperdicio? ¿Qué tal si el sótano necesita menos trabajadores porque las cajas son simples, mientras que el último piso necesita un gran equipo para manejar ideas complejas y abstractas? Esta es la pregunta que los investigadores han empezado a plantearse. Saben que, a medida que la información viaja a través de la biblioteca, cambia de forma y se vuelve más compleja. La gran pregunta es: ¿podemos medir exactamente cuánto "trabajo" está haciendo cada sala y luego mover a los trabajadores hacia donde más se necesitan, sin contratar a ninguna persona adicional? Este artículo profundiza en esa idea, utilizando una mezcla de geometría (el estudio de las formas y las distidades) y matemáticas para determinar el plan de dotación de personal perfecto para cada sala.

Los autores de este artículo, Timur Mudarisov, Mikhail Burtsev y Radu State, decidieron dejar de adivinar y empezar a medir. Trataron la información que fluye a través de la IA como una "nube de puntos" (piensa en esto como un enjambre de luciérnagas moviéndose a través de una habitación). A medida que las luciérnagas se mueven de una sala a otra, se desplazan, se estiran y se retuercen. El equipo desarrolló una forma de medir exactamente cuánto "trabajo geométrico" ocurre en cada sala. Utilizaron tres formas diferentes de medir: observar qué tan lejos se movieron las luciérnagas (desplazamiento), cómo cambiaron las distancias entre ellas (Gromov-Wasserstein) y cómo cambiaron los bucles y los huecos en su formación (topología).

Aquí está el giro: descubrieron que la forma en que mides importa. Si solo observas las distancias puras, las salas posteriores parecen realizar la mayor parte del trabajo, pero eso suele ser simplemente porque las luciérnagas se están volviendo más grandes (un problema de escala). Sin embargo, cuando normalizaron los datos —observando la forma del movimiento en lugar de solo el tamaño— descubrieron un patrón diferente. El "trabajo" es en realidad más alto al principio de la biblioteca y disminuye a medida que avanzas hacia lo profundo. Esto sugiere que las primeras salas necesitan la mayor capacidad cerebral, mientras que las salas posteriores pueden arreglárselas con menos trabajadores.

Para probar esto, crearon un nuevo "calendario de dotación de personal" basado en estas mediciones. En lugar de dar a cada sala el mismo número de trabajadores, dieron a las primeras salas más y a las últimas menos, manteniendo el número total de trabajadores exactamente igual al del antiguo modelo uniforme. Probaron esto en varios modelos de IA diferentes, que iban desde los pequeños (128 millones de parámetros) hasta uno más grande (440 millones de parámetros).

Los resultados fueron prometedores. En sus experimentos, los modelos que utilizaron este plan de dotación "guiado por la geometría" funcionaron mejor que los modelos estándar donde cada sala es igual. De hecho, cuando compararon su nuevo método con un plan popular diseñado a mano llamado "atenuación de coseno" (que simplemente asume que el trabajo disminuye suavemente como un tobogán), su enfoque basado en datos lo hizo incluso mejor. A la escala de 440 millones de parámetros, su plan basado en la geometría redujo los errores del modelo significativamente más que el plan de la curva de coseno.

Sin embargo, los autores tienen cuidado de no afirmar que han resuelto el problema para siempre. Señalan que su método depende de medir un modelo de "referencia" y luego aplicar esas reglas a uno nuevo. Si bien los resultados sugieren que mover la capacidad hacia las capas tempranas es una estrategia ganadora, admiten que se necesitan más pruebas para estar absolutamente seguros de qué herramienta de medición específica (topología vs. geometría) es la mejor. También señalan que su grupo de control "anti-topológico" (un plan que hace deliberadamente lo opuesto a lo que sugerían los datos) funcionó peor que el modelo estándar, lo que confirma que la dirección de su nuevo plan es, de hecho, la correcta.

En resumen, este artículo sugiere que los modelos de IA no necesitan ser construidos con salas iguales. Al usar la geometría para medir dónde ocurre el trabajo real, podemos reorganizar a los trabajadores para hacer que toda la biblioteca sea más inteligente, sin gastar ni un solo dólar extra en contrataciones. Es una forma ingeniosa y basada en datos de exprimir más el rendimiento de la misma potencia de cómputo.

Resumen Técnico: Asignación de Ancho de FFN por Capas Guiada por la Geometría en Transformers

Planteamiento del Problema
En las arquitecturas Transformer estándar, el ancho oculto de las Redes de Alimentación hacia Adelante (FFN) es típicamente constante en todas las capas, a pesar de la evidencia de que las funciones de las capas y la dinámica de las representaciones cambian con la profundidad. Si bien trabajos recientes (Tapered Language Models) demostraron que la reasignación de capacidad de las capas más profundas a las más superficiales mejora el rendimiento, los métodos existentes dependen de cronogramas monotónicos diseñados a mano (por ejemplo, atenuaciones de coseno). Estas formas prescritas no se adaptan a las demandas computacionales específicas de un modelo dado o de una distribución de datos. El artículo se pregunta si una asignación de ancho dependiente de los datos y específica por capa puede derivarse directamente del comportamiento geomético de las activaciones durante una pasada hacia adelante, en lugar de depender de un prior arquitectónico fijo.

Metodología
Los autores proponen un marco que trata las capas FFN como transportadores de nubes de representación de tokens. La metodología central involucra tres etapas:

Medición del Trabajo Geométrico:
El artículo define el "trabajo geométrico" como el cambio inducido por una capa FFN en una nube de representaciones de tokens. Para asegurar que la métrica refleje la contribución real de la FFN en lugar de artefactos de escalado residual, los autores evalúan tres estadísticas de trabajo distintas bajo tres marcos geométricos:
- Geometría Raw (Bruta): Utiliza la distancia euclidiana en estados no normalizados. Es sensible a la escala y sirve como control.
- Geometría Esférica: Utiliza estados con normalización unitaria y distancia angular.
- Geometría Hiperbólica: Mapea los estados de normalización unitaria en una bola de Poincaré, actuando como una reponderación no lineal de las distancias angulares.
Para cada geometría, se computan tres estadísticas de trabajo:
- Desplazamiento (Shift): El desplazamiento medio de los tokens (preservando la correspondencia).
- Distorsión Métrica: Medida a través de la distancia de Gromov-Wasserstein (GW), cuantificando cómo se preservan o alteran las relaciones de pares.
- Cambio Topológico: Medido a través de la distancia de 2-Wasserstein entre diagramas de homología persistente de grado uno (filtración de Vietoris–Rips), capturando la creación o destrucción de bucles.
Modelo Sustituto de Aproximación y Optimización:
Los autores introducen un modelo sustituto para mapear el trabajo geométrico al ancho óptimo de las capas. Postulan que el error de aproximación de una capa FFN escala con su ancho de acuerdo con una dimensión intrínseca ( $d_{int}$ ) y una sensibilidad de pérdida ( $\lambda$ ).
- Supuestos: (1) Los efectos de la pérdida son localmente aditivos; (2) El error escala como $w^{-a}$ donde $a$ depende de la dimensión intrínseca; (3) El trabajo geométrico medido es un proxy para la dificultad de aproximación.
- Optimizador: Se resuelve un problema de optimización restringida para minimizar la suma de los errores de aproximación ponderados sujeto a un presupuesto total de parámetros fijo. Esto produce una solución de forma cerrada para el ancho óptimo $w_\ell$ para cada capa, incorporando límites inferiores y exponentes dependientes de la profundidad.
Construcción del Cronograma (Schedule):
Se ejecuta un modelo de referencia (ancho uniforme) para recolectar nubes de activación. Se estima el perfil de trabajo geométrico, se suaviza y se mapea a un cronograma de ancho utilizando el optimizador derivado. Este cronograma se aplica luego para entrenar un nuevo modelo desde cero.

Contribuciones Clave

Definición de Trabajo Geométrico: El artículo formaliza tres estadísticas complementarias de trabajo de pasada hacia adelante (desplazamiento, distorsión GW, cambio topológico) bajo métricas raw, esféricas e hiperbólicas, distinguiendo entre magnitud bruta y cambios estructurales normalizados por escala.
Optimizador de Presupuesto Exacto: Deriva un optimizador continuo único para la asignación de ancho por capa bajo un presupuesto de parámetros fijo, manejando límites inferiores y dimensiones intrínsecas variables entre capas.
Diagnósticos Exhaustivos: El estudio evalúa la sensibilidad de escala, la aditividad de pérdida local, la dimensión intrínseca y la correlación entre el trabajo geométrico y la sensibilidad de la capa basada en perturbaciones en siete modelos preentrenados (Llama 3.1/3.2, Gemma 2/3, Mistral).
Validación Empírica: El artículo compara los cronogramas derivados de la geometría contra el ancho uniforme, una atenuación de coseno diseñada a mano y un control "anti-topológico" a través de tres escalas de modelos (128M, 256M y 440M).

Resultados

Sensibilidad de Escala: El trabajo geométrico bruto (euclidiano) sigue en gran medida el crecimiento de la norma residual, mientras que las métricas normalizadas (esféricas/hiperbólicas) revelan un perfil "front-loaded" donde las primeras capas exhiben el mayor trabajo geométrico.
Sensibilidad vs. Asignación: Mientras que el trabajo de Gromov-Wasserstein muestra una correlación más fuerte con la sensibilidad de la capa basada en perturbaciones, la asignación topológica/hiperbólica produjo la menor pérdida de validación media en las ejecuciones de entrenamiento. Esto sugiere que la sensibilidad y la dificultad de aproximación son factores distintos.
Rendimiento de Entrenamiento:
- En las ejecuciones de 128M y 256M, los cronogramas de geometría normalizada generalmente superaron al ancho uniforme y al control anti-topológico, aunque los resultados son exploratorios debido a la limitación de semillas.
- En el experimento de cinco semillas de 440M, el cronograma topológico/hiperbólico logró una reducción de la pérdida de validación media de 0.019 respecto al ancho uniforme. Esto es aproximadamente 6.3 veces la reducción lograda por la atenuación de tipo coseno de TLM (0.003).
- El control anti-topológico/bruto funcionó peor que el ancho uniforme, confirmando que la dirección de la asignación importa.

Significancia y Reivindicaciones
El artículo sostiene que el trabajo geométrico proporciona un método basado en datos y con principios para reemplazar las constantes de ancho de FFN uniformes con cronogramas dependientes de la capa. Establece que:

La capacidad de la FFN no debe asumirse uniforme; las actualizaciones de las capas cambian sus roles a través de la profundidad.
Las atenuaciones monotónicas fijas no son la única alternativa efectiva; los perfiles derivados de la activación pueden capturar estructuras no monotónicas y lograr mayores ganancias de rendimiento que los cronogramas diseñados a mano bajo condiciones idénticas.
Los cambios geométricos normalizados (específicamente los topológicos/hiperbólicos) revelan un perfil transferible de carga temprana que mejora la eficiencia del modelo.

Los autores mantienen la modestia en sus conclusiones, señalando que los resultados son comparaciones de medias descriptivas hasta que se reporte completamente la incertidumbre de la diferencia de pares. No afirman haber probado la superioridad universal de una geometría específica (por ejemplo, topología vs. GW), sino que el cambio geométrico normalizado es una señal útil para la asignación de capacidad. Este trabajo posiciona la asignación derivada de la activación como una extensión práctica del tapering, motivando trabajos futuros para calibrar directamente el trabajo geométrico con la demanda de aproximación por capa.

Resumen Técnico: Asignación de Ancho de FFN por Capas Guiada por la Geometría en Transformers

Más como este