Resumen Técnico: DisciplineGen-1M

Planteamiento del Problema

Los modelos actuales de generación y edición de imágenes han logrado un éxito notable en la producción de imágenes naturales estéticamente agradables. Sin embargo, siguen siendo poco fiables cuando se les asigna la generación o edición de diagramas con alta densidad de conocimiento (por ejemplo, en matemáticas, física, química, biología, etc.). En estos contextos disciplinarios, la corrección depende de estructuras simbólicas precisas, relaciones espaciales y conceptos académicos, más que de la mera plausibilidad visual. Un error menor en un símbolo, etiqueta o grupo molecular puede invalidar el resultado completo.

Los conjuntos de datos existentes para la generación y edición de imágenes se centran principalmente en imágenes naturales, obras de arte o conocimiento general del mundo (por ejemplo, WISE, RISE). Aunque existen algunos conjuntos de datos especializados (por ejemplo, StructVisuals, TextAtlas5M), a menudo carecen de alcance multidisciplinar, supervisión conjunta de texto a imagen (T2I) y edición, o anotaciones de razonamiento y conocimiento explícitas. Existe una escasez crítica de conjuntos de datos estructurados a gran escala diseñados para entrenar modelos para manejar las rigurosas restricciones de la creación visual académica.

Metodología

1. Construcción de Datos: DisciplineGen-1M

Los autores presentan DisciplineGen-1M, un conjunto de datos de escala de un millón que contiene 1.2 millones de muestras que abarcan diez disciplinas: matemáticas, física, química, biología, geografía, ciencias de la computación, economía, historia, música y deportes. El conjunto de datos soporta tanto la generación T2I como la edición de imágenes.

Para abordar la heterogeneidad de las imágenes académicas, los autores diseñaron un marco escalable que combina cuatro canales complementarios:

• Renderizado de Gráficos Vectoriales (SVG y TikZ):
  • Rama SVG: Utilizada para biología, física y economía. Construye instancias semánticas estructuradas (nodos, relaciones, curvas) mapeadas a plantillas y renderizadas como SVG. Esto permite un renderizado determinista y un control explícito sobre las ediciones semánticas (por ejemplo, eliminar etiquetas, desplazar curvas). También utiliza la inicialización de imágenes web donde Gemini-3-Flash genera código SVG a partir de imágenes candidatas.
  • Rama TikZ: Dirigida a biología, geografía, física, química, CS y economía. Utiliza una biblioteca de semillas de 1,346 puntos de conocimiento expandidos en planos de dibujo y traducidos a código TikZ compilable. Un proceso de reparación "compilador en el bucle" corrige errores de LaTeX, y un juez de Modelo de Lenguaje Visual (VLM) filtra la corrección, claridad y completitud. La edición se logra reemplazando las etiquetas con marcadores de posición y recompilando.
• Edición Basada en OCR:
  • Dirigida a figuras educativas con etiquetas informativas. Utilizando PP-OCR v5, se extraen instancias de texto y cuadros delimitadores. Un VLM selecciona regiones adecuadas para el enmascaramiento (rechazando texto ambiguo o poco importante). La imagen enmascarada sirve como entrada, la original como verdad de campo (ground truth), y el VLM genera la instrucción de edición.
• Filtrado de Datos T2I a Gran Escala:
  • Filtra depósitos de imágenes educativas de código abierto (por ejemplo, K12, MV-MATH). El canal aplica deduplicación pHash, filtrado de resolución y pre-cribado por OCR para eliminar imágenes dominantes en texto o dependientes del lenguaje. Las imágenes restantes son calificadas por Qwen3-VL-8B en dimensiones como relevancia disciplinar, naturaleza diagramática, complejidad visual y conocimiento de dominio.
• Síntesis Programática Especializada:
  • Utiliza motores específicos de dominio para sintetizar datos donde los datos web son escasos.
    • Matemáticas: Matplotlib, MathCanvas, GeoGebra para gráficos de funciones, geometría y transformaciones de sólidos.
    • Química: RDKit e Indigo para la generación de moléculas y ecuaciones de reacción.
    • Ciencias de la Computación: Graphviz y Matplotlib para árboles, grafos y máquinas de estados finitos.
    • Historia: Wikimedia Commons y mapas base para líneas de tiempo y mapas.
    • Música: Melodías de IrishMAN ABC y LilyPond para partituras y piano rolls.
    • Deportes: Registros de Ajedrez/Xiangqi, SGF de Go y datos de nutrición para juegos de tablero y tácticas.

2. Arquitectura del Modelo

Construido sobre DisciplineGen-1M, los autores introducen un modelo de generación-razonamiento informado por la disciplina:

• Módulo de Razonamiento: Qwen3-VL-8B convierte solicitudes disciplinarias implícitas en planes de razonamiento explícitos, identificando el conocimiento relevante, los elementos objetivo y los cambios estructurales.
• Módulos de Generación:
  • T2I: Qwen-Image-2512.
  • Edición: Qwen-Image-Edit-2511.
• Estrategia de Entrenamiento: Los modelos se adaptan utilizando LoRA (Low-Rank Adaptation) sobre el backbone DiT. El entrenamiento utiliza una pérdida de FlowMatch SFT con carga de resolución dinámica. El módulo de razonamiento se mantiene congelado, mientras que los generadores de imágenes son ajustados (fine-tuned).

Contribuciones Clave

1. Marco Escalable: Un novedoso marco de construcción de datos que combina el renderizado vectorial, la edición basada en OCR, la síntesis programática y el filtrado a gran escala para producir visuales académicos estructurados de alta calidad.
2. Conjunto de Datos DisciplineGen-1M: El primer conjunto de datos de generación visual multidisciplinar de escala de un millón (1.2M), que cubre T2I y edición a través de diez campos académicos distintos con supervisión estructurada.
3. Rendimiento de Vanguardia (SOTA): Demostración de que la adaptación de generadores de código abierto con este conjunto de datos produce resultados SOTA entre los modelos de código abierto en benchmarks específicos de disciplina, con una generalización significativa hacia tareas de razonamiento más amplias.

Resultados Experimentales

Benchmarks Específicos de Disciplina

• GenExam (Generación T2I): El modelo alcanzó una puntuación relajada general de 51.4, ocupando el primer lugar entre los modelos de código abierto. Superó a Qwen-Image-2512 por 15.6 puntos y a FLUX.2 dev por 8.5 puntos. Las mejoras fueron consistentes en las diez disciplinas, con ganancias notables en química, economía, música, CS e historia.
• GRADE (Edición de Imágenes): El modelo de edición alcanzó una puntuación relajada general de 58.7, superando al mejor baseline de código abierto (DreamOmni) por 14.4 puntos y a Qwen-Edit-2511 por 28.7 puntos. Las ganancias fueron amplias en física, química, matemáticas, geografía, biología, CS e historia.

Benchmarks de Razonamiento General

• WISE (T2I de Conocimiento del Mundo): El modelo obtuvo 0.66, superando a Qwen-Image-2512 por 0.16. Las ganancias fueron más fuertes en las categorías espacial, biología, física y química, lo que indica una transferencia de conocimiento estructural a tareas de conocimiento del mundo que involucran restricciones científicas.
• RISE (Edición Informada por el Razonamiento): El modelo alcanzó una precisión de 26.4, superando a Qwen-Image-Edit-2511 por 7.0 puntos y a BAGEL (thinking) por 10.8 puntos. Superó notablemente al baseline de código cerrado más fuerte en la puntuación general, impulsado por mejoras en el razonamiento temporal, causal y espacial.

Análisis Cualitativo

Las comparaciones visuales muestran que el modelo propuesto preserva mejor las restricciones estructurales clave (por ejemplo, conectividad molecular, topología de grafos, notación musical) en comparación con los baselines, que a menudo producen salidas visualmente plausibles pero estructuralmente incorrectas.

Significado y Reivindicaciones

El artículo afirma que los datos visuales académicos estructurados a gran escala son un ingrediente clave para mover la generación de imágenes de la "plausibilidad estética" hacia una "creación visual verificable y fundamentada en el conocimiento".

Los autores sostienen que:

1. Entrenar en datos multidisciplinares y estructurados mejora no solo la fidelidad visual, sino también la capacidad de seguir restricciones específicas de la disciplina (por ejemplo, notación simbólica, relaciones espacciales).
2. Los beneficios de esta supervisión estructurada se extienden más allá de los dominios académicos específicos hacia la generación y edición informada por el razonamiento general, particularmente en tareas que requieren razonamiento espacial, causal o científico.
3. Aunque persiste una brecha entre los modelos de código abierto y de código cerrado, DisciplineGen-1M reduce significamente esta brecha, validando la utilidad de las restricciones de conocimiento explícitas y la supervisión estructurada emparejada para la creación visual académica.

Los autores publican el conjunto de datos, los modelos entrenados y el código fuente del pipeline de curación de datos para asegurar la reproducibilidad.