🤖 machine learning

ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization

ReRound es un método de cuantificación post-entrenamiento sin calibración que aprovecha un modelo de difusión condicional para resolver las ambigüedades del redondeo de punto medio en pesos de LLM de bajo bit, superando consistentemente a las técnicas estándar para la cuantificación de 3 y 4 bits mientras mantiene la eficiencia fuera de línea.

Autores originales: He-Yen Hsieh, H. T. Kung

Publicado 2026-08-12

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: He-Yen Hsieh, H. T. Kung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando encoger una biblioteca gigante e increíblemente detallada de conocimiento para que quepa dentro de una mochila diminuta y portátil. Este es el mundo de los Modelos de Lenguaje de Gran Escala (LLM), los cerebros de IA superinteligentes que pueden escribir historias, resolver problemas matemáticos y charlar como humanos. Estos cerebros están hechos de miles de millones de números diminutos llamados "pesos", y para que sean rápidos y baratos de ejecutar en teléfonos o computadoras portátiles comunes, los científicos intentan comprimir estos números en cajas más pequeñas. Este proceso se llama cuantización.

Piensa en los números originales de tamaño completo como fotos de alta resolución. Para ahorrar espacio, queremos convertir estas fotos en un arte de píxeles de baja resolución. La forma estándar de hacerlo se llama "Redondeo al más cercano" (RTN). Es como mirar un número y preguntarse: "¿Está más cerca del 1 o del 2?". Si es 1.4, redondeas hacia abajo a 1. Si es 1.6, redondeas hacia arriba a 2. Es una regla simple y automática. Pero hay un punto complicado: ¿qué pasa si el número es exactamente 1.5? O muy cerca de 1.5, como 1.48. En este "punto medio", la decisión es ambigua. Redondear hacia abajo o hacia arriba crea casi la misma cantidad de error, por lo que la regla simple simplemente elige uno de forma arbitraria. En una biblioteca masiva de miles de millones de números, tomar miles de estas pequeñas decisiones arbitrarias puede, accidentalmente, desordenar el significado de todo el libro, haciendo que la IA sea más tonta.

Aquí es donde entra en juego un nuevo método llamado ReRound. En lugar de adivinar ciegamente en estos puntos medios complicados, ReRound actúa como un detective que observa el vecindario de números circundantes para determinar la mejor opción. Utiliza un tipo especial de entrenamiento de IA llamado "modelo de difusión" (la misma tecnología utilizada para generar imágenes a partir de texto) para aprender los patrones ocultos de cómo se organizan los números en el cerebro de la IA. Cuando ve un número atrapado en un punto medio, pregunta: "Basado en la compañía que hace este número, ¿debería realmente redondear hacia abajo o le corresponde hacia arriba". Al usar estos patrones aprendidos para guar la cuantización, ReRound puede corregir los errores del método estándar sin necesidad de reentrenar toda la IA ni alimentarla con nuevos ejemplos. Es una forma ingeniosa de exprimir más precisión de una mochila más pequeña, haciendo que la IA poderosa sea accesible para todos sin necesidad de supercomputadoras costosas.

La Guía del Detective para una Mejor IA

En el mundo de la inteligencia artificial, la búsqueda de modelos más pequeños y rápidos a menudo choca con un muro: el "problema del punto medio". Cuando los científicos intentan encoger los números masivos dentro de una IA (un proceso llamado cuantización), generalmente usan una regla simple: si un número está más cerca del suelo, redondea hacia abajo; si está más cerca del techo, redondea hacia arriba. Pero, ¿qué sucede cuando un número está justo en medio de la habitación? El lanzamiento de una moneda es un error de oportunidad. El artículo ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization argumenta que este lanzamiento de moneda es una oportunidad perdida.

Los autores, He-Yen Hsieh y H. T. Kung de la Universidad de Harvard, proponen una nueva estrategia llamada ReRound. En lugar de redondear ciegamente los números cerca del medio, ReRound utiliza un "prior de difusión" (un conocimiento previo de difusión): una suposición aprendida sobre cómo eran los números originales y perfectos antes de ser reducidos. Imagina que tienes una foto de un gato borrosa y pixelada. Una regla de redondeo estándar podría simplemente adivinar el color de un píxel difuso basándose en sus vecinos inmediatos. ReRound, sin embargo, utiliza una IA entrenada (específicamente un modelo de difusión U-Net) para "alucinar" o reconstruir cómo debería verse toda la sección de la foto, basándose en los patrones que aprendió de la imagen original de alta calidad.

Así es como ocurre la magia, paso a paso:

La Fase de Entrenamiento: Antes de que la IA sea siquiera reducida, ReRound echa un vistazo a los pesos de tamaño completo y de alta precisión del modelo. Trocea estos pesos en diminutos parches de 64x64 y entrena un modelo de difusión para predecir el parche original de tamaño completo simplemente mirando una versión de bajo bit y borrosa de este. Piensa en esto como enseñar a un detective a reconocer la textura de una tela específica simplemente sintiendo un pequeño trozo de tela velloso.
el La Reconstrucción: Cuando llega el momento de reducir el modelo, ReRound no solo redondea los números. Pasa los números de bajo bit y borrosos a través de su detective entrenado (el modelo de difusión) para generar una versión "reconstruida" de los pesos. Este no es el peso final; es una guía. Es como si el detective dijera: "Sé que este píxel difuso está cerca de un punto medio, pero basado en el patrón de todo el parche, debería estar un poco más arriba".
El Redondeo Inteligente: ReRound solo utiliza el consejo de este detective cuando la regla estándar está verdaderamente confundida (cerca del punto medio). Si el número está claramente cerca del suelo o del techo, se ciñe a la regla estándar. Pero si el número es inestable cerca del medio, ReRound verifica el valor reconstruido. Si la reconstrucción sugiere redondear en la otra dirección, y la "distancia" desde el punto medio no es demasiado grande, ReRound cambia el interruptor.
La Verificación de Seguridad: Para asegurarse de no cambiar demasiados interruptores y romper el modelo, ReRound genera algunas versiones diferentes del modelo reducido, cada una con una "tolerancia" ligeramente diferente para cuánto confía en el detective. Luego elige al ganador observando el "esqueleto" de la matriz (sus valores singulares). Elige la versión que mantiene intactos la mayor parte de los patrones estructurales más importantes del modelo original de tamaño completo.

Los resultados son impresionantes, especialmente para los modelos de IA más pequeños. El artículo muestra que ReRound supera consistentemente al método estándar de "Redondeo al más cercano" cuando se comprimen modelos a una precisión de 3 y 4 bits. Por ejemplo, en modelos como Gemma 2 2B y Gemma 3 1B, ReRound mejoró la precisión entre 0.1 y 1.3 puntos en diversas tareas de lenguaje. En algunos casos, incluso superó a métodos que requieren "datos de calibración" (alimentar a la IA con miles de frases de ejemplo para aprender cómo redondear), todo mientras ReRound no utilizó ningún dato adicional; trabajó enteramente de forma offline, utilizando solo los propios pesos del modelo.

Los autores advierten cuidadosamente que esto no es una solución mágica para cada problema individual. El método funciona mejor cuando los parámetros de cuantización (como la escala y el punto cero) ya están fijos. También requiere entrenar un modelo de difusión separado para cada IA específica, lo que toma algo de tiempo y potencia de cómputo por adelantado (unas 2 a 3 horas de entrenamiento y unas pocas horas de inferencia por modelo). Sin embargo, una vez hecho esto, el proceso real de reducir el modelo es rápido, tomando solo segundos o minutos.

Crucialmente, ReRound no cambia la forma en que la IA se ejecuta en tu teléfono o computadora portátil. Solo cambia los números enteros finales almacenados en la memoria. Esto significa que la IA se ejecuta tan rápido como antes, pero con un poco más de capacidad cerebral preservada. El artículo sugiere que este enfoque de usar "pesos reconstruidos" como guía para el redondeo podría ser un nuevo estándar para hacer la IA más pequeña y más inteligente, demostrando que, a veces, la mejor manera de tomar una decisión no es mirar el número de forma aislada, sino preguntar al vecindario qué es lo que piensa.

Resumen Técnico: ReRound – Redondeo Reconstructivo para Resolver la Ambigüedad del Punto Medio en la Cuantización de LLM sin Calibración

1. Planteamiento del Problema

La cuantización post-entrenamiento (PTQ) reduce la huella de almacenamiento y memoria de los Grandes Modelos de Lenguaje (LLM) mapeando los pesos de precisión completa a enteros de pocos bits. Un paso crítico en este proceso es la asignación de redondeo final, donde un peso cuantizado de punto flotante debe asignarse a su entero adyacente inferior (piso/floor) o superior (techo/ceiling).

Los esquemas estándar de Redondeo al Más Cercano (RTN) toman esta decisión basándose únicamente en la distancia escalar. Si bien esto es inequívoco para pesos cerca de los límites enteros, crea una ambigüedad de punto medio para pesos cerca del centro de los intervalos de cuantización (por ejemplo, $r \approx 0.5$ ). En estas regiones, el error escalar incurrido al redondear hacia arriba o hacia abajo es casi idéntico. En consecuencia, las decisiones de RTN en estas zonas ambiguas suelen ser arbitrarias, pero un pequeño conjunto de tales decisiones puede alterar significativamente el patrón de redondeo general de una capa lineal, lo que potencialmente degrada la precisión del modelo. Los métodos existentes optimizan los parámetros de cuantización (escalas, puntos cero) o utilizan datos de calibración para aprender las asignaciones de redondeo, pero pocos abordan la ambigüedad específica del paso de redondeo en sí mismo sin depender de muestras de activación o etiquetas de salida.

2. Metodología: ReRound

ReRound es un marco de trabajo sin calibración que revisita las decisiones de RTN con ambigüedad de punto medio utilizando información aprendida directamente de los propios pesos del LLM preentrenado. El método consta de tres etapas principales:

A. Reconstrucción Condicional de Pesos mediante Difusión

ReRound entrena un modelo de difusión condicional (específicamente una U-Net) sobre las matrices de pesos del LLM preentrenado.

Entrenamiento: El modelo aprende a reconstruir parches de pesos de precisión completa ( $P$ ) condicionados a sus versiones de redondeo estocástico (SR) de pocos bits ( $P_{low}$ ). El objetivo es el parche continuo de precisión completa, mientras que la condición es la observación cuantizada.
Inferencia: Durante la fase de PTQ, el modelo genera pesos reconstruidos continuos ( $W_{rec}$ ) condicionados a los pesos cuantizados determinísticos de RTN ( $P_{cond}$ ).
Propósito: Estos pesos reconstruidos no se despliegan como parámetros del modelo. En su lugar, sirven como un prior aprendido que refleja la distribución de los pesos dentro del LLM específico, proporcionando evidencia para resolver las ambigüedades de redondeo.

B. Redondeo Guiado por Reconstrucción con Tolerancia Dependiente de la Posición

ReRound utiliza los pesos reconstruidos para proponer asignaciones de redondeo alternativas (cambiando de piso a techo o viceversa) solo cuando la decisión original de RTN es ambigua.

Condición de Propuesta: Se propone un cambio solo si el peso reconstruido ( $\tilde{w}_{rec}$ ) redondea al entero adyacente opuesto ( $q_{alt}$ ) en comparación con la asignación original de RTN ( $q_{rtn}$ ).
Tolerancia Dependiente de la Posición: No todas las propuestas se aceptan. ReRound emplea una métrica de tolerancia $\tau_{pos}(r; \tau)$ $τ_{p os} (r; τ)$ basada en la posición fraccionaria $r$ $r$ del peso dentro de su intervalo de cuantización.
- Cerca del punto medio ( $r \approx 0.5$ ), la tolerancia es alta, permitiendo cambios guiados por la reconstrucción.
- Cerca de los límites de los enteros, la tolerancia disminuye exponencialmente, preservando la decisión estándar de RTN donde la diferencia de error escalar es significativa.
- Un cambio se acepta solo si la desviación entre el peso reconstruido y el original cae dentro de esta tolerancia dependiente de la posición.
Generación de Candidatos: Al barrer un parámetro de tolerancia $\tau$ , ReRound genera un conjunto de matrices de pesos enteros cuantizados candidatas ( $Q_\tau$ ), cada una de las cuales representa un conjunto diferente de revisiones de redondeo aceptadas.

C. Selección Espectral

Para seleccionar el candidato óptimo sin datos de calibración, ReRound utiliza un criterio espectral basado solo en pesos.

Cada matriz candidata $Q_\tau$ se descuantiza para formar una matriz continua $W_\tau$ .
Los valores singulares principales de $W_\tau$ se comparan con los de la matriz original de precisión completa $W$ .
El candidato con la menor discrepancia espectral (el ajuste más cercano en los modos singulares dominantes) se selecciona como la matriz de pesos cuantizados final. Esto asegura que el patrón de redondeo seleccionado preserve los modos estructurales dominantes de la capa original.

3. Contribuciones Clave

Marco ReRound: Un enfoque novedoso sin calibración que utiliza un modelo de difusión condicional entrenado en los propios pesos del modelo para guiar las decisiones de redondeo con ambigüedad de punto medio.
Tolerancia Dependiente de la Posición: Una métrica que controla dinámicamente la aceptación de cambios guiados por la reconstrucción, priorizando la región del punto medio mientras preserva el RTN cerca de los límites.
Criterio de Selección Espectral: Un método para seleccionar la matriz de enteros cuantizados óptima basándose en la preservación de los valores singulares, eliminando la necesidad de muestras de activación, calibración de texto o etiquetas de salida.
Compatibilidad: El método opera de forma totalmente offline, modifica únicamente las asignaciones de enteros cuantizados (dejando las escalas, los puntos cero y los procedimientos de inferencia sin cambios) y puede refinar el RTN o los parámetros de otros métodos de PTQ.

4. Resultados Experimentales

El artículo evalúa ReRound en una gama de LLM pequeños (por ejemplo, Gemma 2 2B, Gemma 3 1B, Qwen3 1.7B, OLMo 2 1B) para la cuantización de pesos de 3 y 4 bits.

vs. Baselines Sin Calibración: ReRound supera consistentemente al RTN estándar por grupos y a otros métodos sin calibración (HQQ, BNB FP4, RTN transformado por Hadamard) en todos los modelos probados. Logra la mayor precisión promedio en la cuantización de 3 bits para todos los modelos y iguala o supera los mejores resultados en la cuantización de 4 bits para la mayoría.
vs. Baselines Con Calibración: ReRound supera a los métodos dependientes de calibración como GPTQ, AdaRound y SignRound en varios modelos (por ejemplo, logrando un 67.4% de precisión promedio en Gemma 2 2B frente al 67.0% de SignRound) sin utilizar ningún dato de calibración.
Estudios de Ablación: Eliminar cualquier componente (guía de reconstrucción, tolerancia dependiente de la posición o selección espectral) resulta en una menor precisión, confirmando la necesidad de todo el flujo de trabajo.
Generalizabilidad: ReRound mejora los baselines de RTN incluso cuando se aplica a parámetros de cuantización generados por otros métodos (por ejemplo, SINQ), demostrando su utilidad como herramienta de refinamiento post-hoc.
Eficiencia: El método no introduce sobrecarga durante la inferencia de pocos bits. El costo offline implica una ejecución de entrenamiento de difusión por modelo y un paso de selección PTQ rápido (segundos por modelo).

5. Significancia y Reivindicaciones

El artículo posiciona a ReRound como un nuevo paradigma para la cuantización de pocos bits que aprovecha los patrones estructurales en los pesos preentrenados como un prior efectivo. Su principal significancia radica en:

Resolución de la Ambigüedad: Aborda específicamente el problema de la "ambigüedad del punto medio", una limitación conocida de RTN, utilizando priors aprendidos en lugar de reglas heurísticas.
Eficiencia Sin Calibración: Logra una precisión de vanguardia entre los métodos sin calibración y compite con enfoques dependientes de la calibración, eliminando la necesidad de conjuntos de datos de calibración costosos.
Preservación de la Inferencia: Al alterar únicamente las asignaciones de enteros mientras mantiene la rejilla de cuantización y la lógica de inferencia idénticas a RTN, asegura un despliegue sin problemas.

Los autores señalan limitaciones, incluyendo el requisito de un modelo de difusión separado por cada LLM (lo que introduce costos offline específicos del modelo) y el enfoque actual en LLM pequeños. Sugieren que el trabajo futuro podría explorar la transferencia de priors de pesos entre modelos y la optimización conjunta de los parámetros de cuantización con el redondeo.