🤖 AI

I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation

El artículo presenta I-Segmenter, el primer marco de Vision Transformer totalmente basado únicamente en enteros para la segmentación semántica que emplea técnicas novedosas como $\lambda$ -ShiftGELU y operaciones de decodificador únicamente en enteros para lograr reducciones significativas en el tamaño del modelo y la latencia de inferencia, manteniendo al mismo tiempo una precisión competitiva, incluso bajo una cuantificación de post-entrenamiento de un solo paso extrema.

Autores originales: Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Publicado 2026-06-09

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jordan Sassoon, Michal Szczepanski, Martyna Poreba

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un chef brillante y de alta gama (un Vision Transformer) que puede mirar una foto y describir cada objeto en ella con un detalle perfecto. Este chef es increíble en la "segmentación semántica"; básicamente, dibujando un contorno perfecto alrededor de cada coche, árbol y persona en una imagen.

Sin embargo, este chef tiene dos problemas principales:

Es un glotón: Necesita una cocina enorme (una memoria inmensa) y mucha energía para cocinar.
Es demasiado refinado: Solo sabe cocinar con medidas líquidas precisas (números de punto flotante). Si intentas darle medidas sencillas de números enteros (números enteros como 1, 2, 3), se confunde, deja caer los ingredientes y arruina el plato.

El artículo presenta I-Segmenter, una nueva forma de entrenar a este chef para que trabaje en una cocina diminuta y con recursos limitados (como un smartphone o un pequeño robot) sin perder sus habilidades culinarias.

Así es como lo hicieron, explicado mediante analogías sencillas:

1. La cocina "Solo de Enteros"

La mayoría de los modelos de IA hablan en "Punto Flotante" (como 3.14159...). Esto es preciso pero pesado. El artículo quería obligar al modelo a hablar solo en "Enteros" (números enteros como 1, 2, 3).

El Problema: Cuando fuerzas una receta compleja a usar solo números enteros, ocurren pequeños errores. En una cocina normal, un error minúsculo no importa. Pero en un Vision Transformer, estos pequeños errores se acumulan como una bola de nieve rodando por una colina, destruyendo eventualmente la imagen final.
La Solución: Los autores reconstruyeron toda la "cocina" (la arquitectura del modelo) para que cada paso —mezclar, picar, calentar— utilice únicamente números enteros. Incluso cambiaron la forma en que el modelo almacena sus "recetas" (pesos) para que ocupen menos espacio.

2. El "Condimento Mágico" (λ-ShiftGELU)

El mayor problemático en la cocina era una especia específica llamada GELU. En el modelo original, esta especia tiene una forma extraña: la mayor parte es una pizca diminuta, pero ocasionalmente, hay un trozo enorme y poco común (una distribución de "cola larga").

La Forma Antigua: Cuando intentas medir esta especia con una regla simple (cuantización uniforme), o bien pierdes la pizca diminuta o aplastas el trozo grande. El sabor se arruina.
La Nueva Forma: Los autores inventaron una nueva herramienta llamada λ-ShiftGELU. Piensa en esto como una taza de medir especial y ajustable. Estira la regla para manejar tanto las pizcas diminutas como los trozos masivos sin romperse. Esto permitió que el modelo se mantuviera preciso incluso cuando se veía obligado a usar números enteros simples.

3. Simplificando el "Emplatado" (Cambios en el Decoder)

Después de que el chef cocina la comida, tiene que emplatarla perfectamente para que coincida con la foto original. El modelo original utilizaba herramientas sofisticadas basadas en líquidos para suavizar los bordes (interpolación bilineal) y una escala compleja para equilibrar el plato (normalización L2).

El Cambio: Los autores los sustituyeron por herramientas más sencillas. En lugar de suavizado líquido, utilizaron Vecino Más Cercano (Nearest-Neighbor), que es como tomar una foto a la rejilla más cercana. Es más cuadriculado, pero funciona perfectamente con números enteros. También eliminaron la escala compleja por completo.
La Compensación: Los bordes de la imagen son ligeramente más "dentados" (como una imagen pixelada), pero el modelo es mucho más rápido y utiliza mucha menos memoria, por lo que vale la pena.

4. Los Resultados: Rápido, Pequeño y Sorprendentemente Bueno

El artículo probó este nuevo "I-Segmenter" en dos grandes conjuntos de datos (ADE20K y Cityscapes). Esto es lo que encontraron:

Tamaño: El modelo se volvió 3.8 veces más pequeño. Es como encoger una maleta hasta convertirla en un equipaje de mano.
Velocidad: Se ejecuta hasta 1.2 veces más rápido en hardware optimizado.
Precisión: Aunque lo obligaron a usar matemáticas simples, solo perdió alrededor del 5% de su precisión en comparación con el original súper preciso. Ese es un precio pequeño a pagar por poder ejecutarlo en un dispositivo pequeño.
El Milagro de "Un Solo Paso" (One-Shot): Normalmente, para enseñar a un modelo a usar matemáticas simples, necesitas mostrarle cientos de ejemplos para calibrarlo. Los autores descubrieron que con su nuevo "Condimento Mágico", podían calibrar el modelo usando solo una sola imagen y aun así obtener excelentes resultados.

Resumen

El artículo no se limitó a decir "lo hicimos más pequeño". Construyeron un sistema completamente nuevo (I-Segmenter) que habla el lenguaje de los números enteros simples. Corrigieron las partes "picantes" de las matemáticas que suelen romperse al simplificarse, y cambiaron las herramientas de cocina sofisticadas por unas más robustas y aptas para enteros.

El resultado es un Vision Transformer que finalmente puede ejecutarse en los pequeños dispositivos con batería que usamos todos los días, sin necesidad de un supercomputador en la nube.

Resumen Técnico: I-Segmenter: Vision Transformer de Solo Enteros para Segmentación Semántica Eficiente

Planteamiento del Problema

Los Vision Transformers (ViTs) han alcanzado resultados de vanguardia en segmentación semántica, pero enfrentan barreras significativas para su despliegue en dispositivos periféricos (edge) con recursos limitados debido a sus altas huellas de memoria y costos computacionales. Aunque la cuantificación ofrece una vía hacia la eficiencia, los modelos de segmentación basados en ViT son notoriamente frágiles bajo restricciones de baja precisión. A diferencia de la clasificación de imágenes, la segmentación semántica requiere predicciones densas a nivel de píxel, lo que causa que los errores de cuantificación se acumulen a través de las profundas canalizaciones de codificador-decodificador.

Los desafíos específicos incluyen:

Sensibilidad No Lineal: Operaciones como Softmax y GELU son altamente sensibles a la pérdida de precisión. Pequeños errores en los logits pueden causar grandes cambios en los pesos de atención, y la distribución de activación de cola larga de GELU es mal gestionada por la cuantificación uniforme.
Complejidad del Decodificador: La adición de cabezales de decodificador que involucran agregación multiescala e interpolación (por ejemplo, upsampling bilineal) amplifica aún más los errores propagados desde el backbone.
Heterogeneidad de Operadores: Los ViTs contienen diversos operadores (Linear, MatMul, LayerNorm, GELU, Softmax) con formas de distribución distintas, lo que dificulta una estrategia unificada de solo enteros.
Limitaciones Existentes: Los métodos de cuantificación actuales suelen depender de retornos a precisión mixta (FP32) para operadores críticos o fallan en mantener la precisión en entornos de Cuantificación Post-Entrenamiento (PTQ), especialmente con datos de calibración mínimos.

Metodología

Los autores presentan I-Segmenter, el primer marco de trabajo de segmentación de ViT de solo enteros. Construido sobre la arquitectura Segmenter, el método reemplaza sistemáticamente todas las operaciones de punto flotante (FP32) por contrapartes de solo enteros para permitir la ejecución de extremo a extremo en enteros.

1. Marco de Cuantificación Central

Cuantificación Uniforme Simétrica: Todos los parámetros (pesos, sesgos, embeddings) y activaciones se cuantifican utilizando cuantificación uniforme simétrica.
Aritmética Diádica: Los factores de escala se aproximan como razones de enteros y potencias de dos ( $S \approx b/2^c$ ), permitiendo que las operaciones de escala se implementen mediante multiplicación de enteros y desplazamiento de bits (bit-shifting), evitando la división de punto flotante.
Gestión de Precisión:
- Las capas lineales utilizan pesos y sesgos en INT8, acumulando productos en INT32.
- Las conexiones residuales mantienen la precisión INT16 para preservar la fidelidad de la señal.
- La operación más sensible, Shiftmax (Softmax de enteros), se ejecuta en INT16.

2. Activación Novedosa: $\lambda$ -ShiftGELU

Los autores identifican que las aproximaciones estándar de GELU en enteros (por ejemplo, ShiftGELU) introducen errores significativos, particularmente para valores negativos y valores atípicos (outliers). Proponen $\lambda$ -ShiftGELU, una función de activación modificada que:

Introduce un parámetro escalar ajustable $\lambda$ para relajar el límite inferior de la distribución de entrada durante la aproximación exponencial.
Evita el recorte excesivamente restrictivo de valores negativos informativos que encuentran los métodos anteriores.
Los parámetros optimizados ( $\lambda=6$ , $k_{inter}=23$ ) equilibran la precisión y la eficiencia computacional, reduciendo significativamente el Error Cuadrático Medio (RMSE) en comparación con el baseline ShiftGELU.

3. Adaptaciones Arquitectónicas para la Ejecución de Solo Enteros

Para asegurar que todo el grafo computacional permanezca de solo enteros, los autores modificaron el decodificador de Segmenter:

Eliminación de la Normalización L2: Se elimina la capa de normalización L2, que requiere aproximaciones no lineales complejas. Su función de suavizar distribuciones es reemplazada por la cuantificación uniforme simétrica de las matrices proyectadas.
Upsampling de Vecino Más Cercano (Nearest-Neighbor): La interpolación bilineal, que depende de la aritmética de punto flotante, se reemplaza con upsampling de vecino más cercano. Aunque esto introduce algunos artefactos de discretización, garantiza una compatía estricta con enteros.
Cuantificación de Embeddings: A diferencia de otros trabajos previos, I-Segmenter cuantifica los embeddings de clase y de posición, asegurando que no queden datos de punto flotante en el almacenamiento o ejecución del modelo.

Contribuciones Clave

Marco I-Segmenter: El primer marco de trabajo de segmentación de ViT de extremo a extremo de solo enteros, permitiendo el despliegue en hardware optimizado para aritmética de enteros (por ejemplo, ARM Cortex-M, Google Edge TPU).
$\lambda$ -ShiftGELU: Una función de activación novedosa que mitiga las limitaciones de la cuantificación uniforme en distribuciones de cola larga, estabilizando tanto el Entrenamiento Consciente de Cuantificación (QAT) como la Cuantificación Post-Entrenamiento (PTQ).
Rediseño Arquitectónico Sistemático: Una adaptación integral de los componentes de ViT (eliminación de L2 Norm, reemplazo de interpolación bilineal) para lograr una inferencia de solo enteros real sin retornos a precisión mixta.
Capacidad de PTQ de un Solo Paso (One-Shot): Demostración de que el marco logra una precisión competitiva incluso con una sola imagen de calibración, reduciendo drásticamente el costo de despliegue.

Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos ADE20K y Cityscapes utilizando backbones ViT-Tiny, Small, Base y Large.

Precisión:
- PTQ: Con $\lambda$ -ShiftGELU, I-Segmenter logra una precisión dentro de un margen razonable respecto al baseline de FP32 (una caída promedio de ~5.1%). Notablemente, el PTQ de un solo paso ( $S=1$ ) produce resultados comparables al uso de 500 muestras de calibración.
- QAT: Reduce aún más la brecha de precisión, con reducciones que no superan los 3.5 puntos de mIoU en ADE20K.
- Comparación: $\lambda$ -ShiftGELU supera significativamente al baseline ShiftGELU, el cual colapsa bajo condiciones de PTQ.
Eficiencia:
- Tamaño del Modelo: Reducciones de hasta 3.8 $\times$ en comparación con los modelos FP32.
- Velocidad de Inferencia: Hasta 1.2 $\times$ más rápido en entornos de ejecución optimizados (TensorRT, TVM).
- Tráfico de Memoria: Una reducción de 2.3 $\times$ –3.3 $\times$ en el total de bits leídos/escritos para operaciones clave.
Despliegue:
- Backend TVM: El único backend que impone una ejecución estricta de solo enteros hasta los cálculos de los kernels. Aunque la compilación de TVM introdujo una caída menor de 1–2 mIoU debido a matices de traducción, el modelo se mantuvo competitivo.
- Costo de Calibración: La calibración de PTQ toma aproximadamente 1 segundo para configuraciones de un solo paso, comparado con horas para QAT.

Significado y Reivindicaciones

El artículo afirma que I-Segmenter representa un paso crítico hacia el despliegue práctico de Vision Transformers en dispositivos de borde. Al demostrar que la inferencia de solo enteros completa es viable para tareas de predicción densa sin una pérdida catastrófica de precisión, el trabajo aborda un cuello de botella importante en el despliegue de IA.

Los autores enfatizan que su enfoque es particularmente significativo para:

Despliegue en el mundo real: La capacidad de desplegar en hardware restringido (NPUs, microcontroladores) sin requerir soporte de hardware de precisión mixta complejo.
Eficiencia: La drástica reducción en el tamaño del modelo y los requisitos de ancho de banda de memoria.
Robustez: La demostración de que una adaptación arquitectónica cuidadosa (específicamente $\lambda$ -ShiftGELU y la eliminación de capas dependientes de punto flotante) puede superar la fragilidad inherente de los ViT bajo cuantificación de bajo bit.

El artículo concluye que, si bien se necesita más trabajo para mejorar el upsampling de solo enteros y las aproximaciones de normalización para recuperar la brecha de precisión restante, I-Segmenter desbloquea con éxito el potencial del despliegue de solo enteros para la segmentación semántica.