Resumen Técnico: RiverONE

Planteamiento del Problema

El artículo aborda el desafío de desplegar Modelos de Visión y Lenguaje (VLM) intensivos en conocimiento para flujos de trabajo científicos, específicamente para la calibración de dispositivos cuánticos. En este dominio, los investigadores deben interpretar gráficos complejos (por ejemplo, oscilaciones de Rabi, franjas de Ramsey, escaneos de resonancia) para extraer parámetros físicos, evaluar la fiabilidad del ajuste y diagnosticar resultados experimentales.

Si bien los VLM a gran escala demuestran una fuerte capacidad de razonamiento, su despliegue en entornos científicos (cerca de instrumentos o en dispositivos de borde/edge) se ve obstaculizado por:

1. Restricciones de Recursos: Los modelos grandes (miles de millones de parámetros) requieren una memoria y computación significativas, lo que dificulta el despliegue local o de baja latencia.
2. Compromisos de Compresión: Las técnicas estándar de compresión de modelos (compartición de pesos, cuantización) a menudo degradan el razonamiento visual de grano fino y el conocimiento específico del dominio requerido para las tareas de calibración. Por ejemplo, comprimir las capas visuales puede debilitar la capacidad de evaluar la calidad del ajuste, mientras que la compresión del lenguaje puede perjudicar la extracción de parámetros.

Los autores postulan que, si bien el hardware cuántico actual aún no es práctico para la inferencia directa, la computación cuántica simulada puede servir como un poderoso mecanismo de "etapa de construcción" para generar parámetros estructurados para modelos clásicos compactos, compensando la pérdida de información durante la compresión.

Metodología: Arquitectura RiverONE

RiverONE es un VLM ligero (~1.9 mil millones de parámetros) diseñado para la comprensión de gráficos de calibración cuántica. Combina un codificador visual especializado con un esqueleto de lenguaje comprimido, utilizando un mecanismo de Parámetro Generado por Cuántica (QGP) para recuperar la capacidad representacional perdida.

1. Arquitectura Base

• Codificador Visual: Basado en IsingViT-800M, un Transformer de Visión especializado en el dominio y preentrenado en imágenes de calibración cuántica.
• Pipeline de Procesamiento:
  • Pixel Unshuffle: Reorganiza los subpíxeles espaciales para aumentar la dimensión de los canales mientras reduce la resolución espacial, preservando la redundancia espacial.
  • Concatenación entre Capas (Cross-Layer Concatenation): Fusiona características de múltiples capas de Transformer para proporcionar a los módulos descendentes una abstracción de múltiples niveles.
  • Proyector MLP: Mapea los embeddings visuales al espacio de embedding del modelo de lenguaje.
• Esqueleto de Lenguaje (Language Backbone): Basado en InternVL3.5-4B (específicamente la arquitectura basada en Qwen3), que sirve como motor de razonamiento.

2. Estrategias de Compresión

Para reducir el tamaño del modelo para su despliegue, RiverONE emplea dos técnicas de compresión primarias:

• Compresión Visual (Multiplexación de Pesos): Inspirado en MiniViT, el codificador visual comparte pesos de atención a través de múltiples bloques de Transformer ($K < L$). En lugar de pesos únicos para cada capa, se utiliza un conjunto de bloques compartidos, aplicando transformaciones ligeras por capa.
• Compresión de Lenguaje (Cuantización de Codebook Aditivo): Inspirado en AQLM, los pesos del esqueleto de lenguaje se aproximan como una superposición de entradas de un codebook aprendido ($W \approx \sum C_j[I_j]$). Esto permite una compresión agresiva de bajo bit mientras se preservan las correlaciones globales en la distribución de los pesos.

3. Compensación por Parámetro Generado por Cuántica (QGP)

Para contrarrestar la pérdida de información causada por las compresiones anteriores, los autores introducen QGP, un circuito cuántico variacional simulado (VQC) utilizado exclusivamente durante la fase de entrenamiento/construcción.

• Mecanismo:
  1. Codificación de Amplitud (Amplitude Encoding): Las matrices de pesos compartidos del codificador visual comprimido se codifican en estados cuánticos.
  2. Circuito Variacional: Un circuito cuántico parametrizado (capas de entrelazamiento y rotación) procesa estos estados, creando una transformación no lineal estructurada.
  3. Medición y Lectura (Measurement & Readout): Las probabilidades de medición se mapean de nuevo a tensores clásicos mediante una transformación lineal aprendida.
  4. Materialización: El resultado es un conjunto de parámetros de compensación específicos de la capa (por ejemplo, perturbaciones de atención, puertas residuales) que re-parametrizan los pesos compartidos.
• Despliegue: Crucialmente, no se utiliza QGP en el tiempo de inferencia. Una vez que el entrenamiento converge, los parámetros generados se "materializan" en tensores clásicos estáticos. El modelo RiverONE final se ejecuta enteramente en GPUs clásicas con cero sobrecarga cuántica.

4. Pipeline de Entrenamiento

El modelo se entrena utilizando un proceso de dos etapas en el benchmark QCalEval:

1. Ajuste Fino Supervisado (SFT):
   • Fase 1 (Aprendizaje en Contexto - ICL): Entrena al modelo en ejemplos de estilo demostrativo para construir la fundamentación de dominio.
   • Fase 2 (Zero-Shot): Elimina las demostraciones para forzar la internalización del conocimiento de calibración.
2. Optimización de Preferencia Mixta (MPO): Alinea las salidas del modelo con las preferencias de expertos utilizando una función de pérdida compuesta (pérdida de preferencia, pérdida de calidad y pérdida de generación) para mejorar el razonamiento científico y la fiabilidad del ajuste.

Contribuciones Clave

1. Marco de Construcción de Cuántica para LLM: El artículo propone un nuevo paradigma donde los circuitos cuánticos simulados actúan como un generador de parámetros en la etapa de construcción. Esto permite la creación de VLM clásicos compactos e intensivos en conocimiento sin requerir hardware cuántico durante la inferencia.
2. Modelo RiverONE: Un VLM de 1.9 mil millones de parámetros optimizado específicamente para la comprensión de gráficos de calibración cuántica, logrando un alto rendimiento con una fracción de los parámetros de modelos más grandes y especializados.
3. Módulo QGP: Un generador basado en VQC simulado que produce parámetros de compensación específicos de capa para los bloques compartidos del Transformer visual, recuperando efectivamente las capacidades de razonamiento específicas de la calibración perdidas durante la compresión.
4. Validación Empírica: Demostración de que la generación de parámetros cuánticos simulados sirve como un sesgo inductivo superior para la compensación de la compresión en comparación con los adaptadores clásicos de presupuestos de parámetros equivalentes.

Resultados Experimentales

El modelo fue evaluado en QCalEval, un benchmark que cubre descripción visual, clasificación de resultados, razonamiento científico, fiabilidad del ajuste, extracción de parámetros y diagnóstico de calibración.

• Rendimiento vs. Baselines:
  • RiverONE-1.9B logra al menos el 95% del rendimiento de NVIDIA Ising Calibration 1 (un modelo MoE de ~35 mil millones de parámetros) en tareas de calibración.
  • Supera significativamente a los VLM de propósito general de código abierto (por ejemplo, InternVL3.5-2B/4B/8B) y a modelos cerrados de gran escala (por ejemplo, Claude Opus, GPT-5) en categorías sensibles a la calibración como la fiabilidad del ajuste (Q4) y el diagnóstico (Q6).
• Eficiencia:
  • RiverONE utiliza <10% del recuento de parámetros de la base de NVIDIA.
  • Reduce el uso de memoria de GPU pico de ~68GB (Ising) a 9.0GB, permitiendo el despliegue en GPUs de consumo (por ejemplo, RTX 4060 Ti) con una latencia de 0.8s frente a los 13s de la base.
• Estudios de Ablación:
  • La compresión por sí sola (sin QGP) causa una caída significativa en el rendimiento (por ejemplo, de 72.5 a 64.17 en la puntuación promedio).
  • La adición de QGP recupera el rendimiento casi al nivel de la base sin comprimir (72.37), demostrando su efectividad para compensar la compartición de pesos visuales.
  • El SFT de dos etapas (ICL + Zero-Shot) es crítico para establecer la base de razonamiento de dominio antes de la compresión.

Significado y Reivindicaciones

El artículo afirma que la computación cuántica simulada es una herramienta práctica y efectiva para la etapa de construcción de la IA científica. Al aprovechar el poder expresivo de los circuitos cuánticos para generar parámetros clásicos estructurados, RiverONE demuestra que los modelos ligeros pueden retener las capacidades de razonamiento "intensivas en conocimiento" de sistemas mucho más grandes y especializados.

El trabajo sugiere un camino a seguir para la IA científica: en lugar de esperar al hardware cuántico tolerante a fallos, los investigadores pueden utilizar métodos de generación inspirados en la cuántica hoy mismo para construir modelos eficientes y desplegables para dominios especializados como la calibración cuántica, donde la alta precisión y la inferencia de baja latencia son críticas. Los autores señalan que el trabajo futuro se centrará en expandir los datos de entrenamiento y aplicar esta generación de parámetros estructurados por cuántica materializada a otros VLM científicos.