Speech-to-LaTeX: New Models and Datasets for Converting Spoken Equations and Sentences

Este trabajo presenta el primer conjunto de datos de código abierto a gran escala con más de 66.000 muestras de audio en inglés y ruso, junto con nuevos modelos y benchmarks, para abordar la conversión de expresiones matemáticas habladas a LaTeX, superando significativamente a los métodos anteriores en la transcripción de ecuaciones y sentencias matemáticas.

Lo esencial

¡Hola! Imagina que tienes un amigo muy inteligente, pero que a veces se confunde cuando le hablas de matemáticas. Si le dices "la integral de x al cuadrado", él podría escribirte algo como "integral de x cuadrado" en lugar de la fórmula matemática perfecta que necesitas para tu tarea o investigación.

Este paper (artículo científico) es como la historia de cómo un grupo de investigadores decidió crear el mejor "traductor de voz a fórmulas matemáticas" del mundo y, además, construir la biblioteca de ejercicios más grande para entrenarlo.

Aquí te lo explico con analogías sencillas:

1. El Problema: El "Diplomático" que se equivoca en los números

Imagina que tienes un traductor de idiomas (como los que usas en el móvil) que es genial para hablar de comida o viajes. Pero si le pides que traduzca una frase compleja de física cuántica, se pierde.

• La realidad actual: Las máquinas son buenas escuchando "hola" o "cómprame pan". Pero cuando alguien dice "la raíz cuadrada de x más dos dividido por tres", la máquina a veces escribe cosas raras o se equivoca en los símbolos.
• El desafío: Las matemáticas habladas son ambiguas. Si dices "uno sobre x más dos", ¿quieres decir $\frac{1}{x} + 2$ o $\frac{1}{x+2}$? La voz no siempre aclara eso, y la máquina necesita adivinar.

2. La Solución: La "Academia de Matemáticas" (El Dataset)

Antes de este trabajo, los investigadores tenían muy pocos ejemplos para enseñar a las máquinas. Era como intentar enseñar a un niño a cocinar solo con un libro de recetas que tenía 10 platos y todos estaban mal escritos.

• Lo que hicieron: Crearon una "biblioteca gigante" llamada S2L.
  • El contenido: Tienen más de 66,000 grabaciones hechas por humanos (como si fueran profesores reales dictando fórmulas) y 571,000 grabaciones hechas por robots (voz sintética) para practicar más.
  • La diversidad: No solo es inglés; también es ruso. No solo son fórmulas sueltas, sino frases completas como en una clase de universidad ("La velocidad es igual a la distancia dividida por el tiempo").
  • La analogía: Es como si tomaran a 33 profesores diferentes, les grabaran dictando miles de ejercicios en dos idiomas, y luego usaran robots para crear millones de variaciones más para que la máquina practique sin cansarse.

3. Los Métodos: Dos formas de aprender

Los investigadores probaron dos estrategias para entrenar a sus "alumnos" (los modelos de IA):

• Método A: El "Esquiva-bloques" (Corrección posterior)

  • Primero, una máquina escucha la voz y la escribe como texto normal (como un dictado).
  • Luego, un "profesor experto" (una Inteligencia Artificial de texto) lee ese texto y lo convierte en la fórmula matemática perfecta (LaTeX).
  • Analogía: Es como tener un estenógrafo que escribe rápido, y luego un editor que corrige los errores y pone las tildes y símbolos correctos.

• Método B: El "Oído Absoluto" (Modelos Multimodales)

  • Aquí, la máquina escucha la voz directamente y, sin escribir el texto intermedio, "siente" la estructura matemática y la escribe directamente.
  • Analogía: Es como un músico que escucha una melodía y toca la partitura en el piano sin necesidad de escribirla primero en un papel. Es más directo y, según el paper, ¡funciona mejor!

4. Los Resultados: ¡Ganaron la carrera!

Compararon sus nuevos modelos con los anteriores (como un modelo llamado MathSpeech).

• El resultado: Sus nuevos modelos cometieron muchos menos errores.
  • En fórmulas sueltas, mejoraron en más de un 36% respecto a lo anterior.
  • En frases completas (donde hay texto mezclado con matemáticas), lograron un rendimiento que antes era casi imposible.
• La clave: Al tener tanto material de entrenamiento (la "biblioteca gigante"), la máquina aprendió a entender no solo las palabras, sino el ritmo y la estructura de las matemáticas.

5. ¿Por qué es importante esto?

Imagina un futuro donde:

• Un estudiante puede grabar su clase de cálculo y obtener automáticamente sus apuntes en formato digital perfecto, listo para estudiar.
• Un investigador puede dictar un artículo científico mientras camina, y la IA escribe las fórmulas complejas sin errores.
• Las personas con dificultades para escribir pueden interactuar con las matemáticas solo con su voz.

En resumen:
Este paper es como la construcción de una gimnasio de matemáticas (el dataset) y el entrenamiento de atletas olímpicos (los modelos de IA) para que puedan escuchar el caos de las matemáticas habladas y convertirlo en un orden perfecto y hermoso. Han demostrado que, con suficientes datos y la técnica correcta, las máquinas pueden entender el lenguaje de las matemáticas casi tan bien como un humano.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Speech-to-LaTeX: New Models and Datasets for Converting Spoken Equations and Sentences", presentado en ICLR 2026.

1. El Problema

La conversión de expresiones matemáticas habladas a representaciones simbólicas estructuradas (específicamente LaTeX) es una tarea compleja que va más allá del reconocimiento de voz (ASR) general. Aunque los modelos de ASR y los Modelos de Lenguaje (LM) han avanzado, la transcripción de matemáticas habladas sigue siendo un desafío debido a:

• Ambigüedad fonética: Frases como "kappa" pueden referirse a \kappa o \varkappa; "uno sobre x más dos" puede interpretarse como 1/x + 2 o 1/(x+2).
• Falta de datos: Los conjuntos de datos existentes (como MathSpeech) son pequeños, carecen de anotaciones humanas a gran escala, no soportan múltiples idiomas y a menudo dependen de datos sintéticos de baja calidad o solo cubren ecuaciones aisladas sin contexto.
• Limitaciones de los enfoques actuales: Las soluciones previas suelen requerir múltiples transcripciones de ASR, se centran solo en ecuaciones aisladas (ignoran oraciones matemáticas en contexto) y no ofrecen modelos de extremo a extremo (end-to-end).

2. Metodología

Los autores proponen un enfoque integral que combina la creación de un nuevo dataset masivo con la evaluación de múltiples arquitecturas de modelos.

A. Dataset S2L (Speech-to-LaTeX)

Se introduce el primer conjunto de datos de código abierto a gran escala, que contiene 66,000 muestras de audio anotadas por humanos y 571,000 muestras sintéticas generadas por TTS (Text-to-Speech).

• Composición: Incluye dos subconjuntos:
  1. S2L-equations: 10.7k ecuaciones aisladas.
  2. S2L-sentences: 12k oraciones matemáticas en contexto (texto natural con fórmulas incrustadas).
• Idiomas: Inglés y Ruso.
• Diversidad: Las muestras provienen de diversas fuentes (Proof-Pile, MathBridge, TextTeller) y cubren dominios científicos (cálculo, física, teoría cuántica, etc.). Se utilizaron 33 anotadores humanos y múltiples voces de TTS (incluyendo XTTSv2 y APIs propietarias) para capturar variaciones en pronunciación, entonación y estilo lingüístico.
• Preprocesamiento: Se aplicó una normalización de LaTeX usando un fork de KaTeX para estandarizar la notación, eliminar espacios innecesarios y unificar nombres de operadores, reduciendo el error de caracteres (CER) en un 1%.

B. Enfoques de Modelado

El estudio evalúa tres estrategias principales (ilustradas en la Figura 1 del artículo):

1. Corrección Post-ASR (Post-correction):
   • Se utiliza un modelo ASR robusto (principalmente Whisper-Large v3) para transcribir el audio a texto plano.
   • Un Modelo de Lenguaje (LM) fine-tuneado (basado en la familia Qwen2.5 y Qwen2.5-Math) toma la transcripción y la convierte a LaTeX.
   • Se evaluaron modelos de 0.5B, 1.5B y 7B parámetros.
2. Modelos Multimodales (End-to-End):
   • Se utilizan Audio-LLMs que procesan el audio crudo directamente sin una etapa intermedia de transcripción explícita.
   • Arquitecturas probadas: SALMONN-13B, Gemma-3n, Audio Flamingo-3 y Qwen-Audio.
   • Estos modelos codifican el audio, alinean las características con los tokens del LLM y generan LaTeX directamente.
3. Prompting Few-Shot:
   • Evaluación de modelos grandes (como Qwen-7B) sin fine-tuning, utilizando ejemplos en el prompt (5-shot y 25-shot) para guiar la conversión.

C. Métricas de Evaluación

• CER (Character Error Rate): Calculado en minúsculas para mitigar problemas de capitalización.
• TeXBLEU: Una métrica específica para LaTeX que penaliza errores sintácticos y compara la estructura del código generado.
• Normalización: Se aplica normalización de fórmulas antes de calcular las métricas para evitar penalizaciones por diferencias sintácticas semánticamente equivalentes (ej. \int_{a}^{b} vs \int_a^b).

3. Contribuciones Clave

1. Dataset S2L: Liberación del primer dataset grande, abierto y multilingüe (inglés/ruso) de expresiones matemáticas habladas, con una mezcla de datos humanos y sintéticos de alta calidad.
2. Nuevos Benchmarks: Establecimiento de los primeros benchmarks para el reconocimiento de oraciones matemáticas (S2L-sentences), un área previamente ignorada, además de un nuevo benchmark para ecuaciones aisladas.
3. Análisis Comparativo: Evaluación exhaustiva de pipelines de corrección post-ASR frente a modelos multimodales end-to-end, demostrando que los enfoques de extremo a extremo superan significativamente a los métodos basados en corrección de texto en tareas complejas.
4. Línea Base de Rendimiento: Establecimiento de nuevas líneas base de rendimiento (CER y TeXBLEU) que superan a los trabajos anteriores como MathSpeech.

4. Resultados Principales

• Rendimiento en Ecuaciones (S2L-equations):
  • El modelo SALMONN-13B (multimodal end-to-end) logró el mejor rendimiento con un CER de 17.5% en el conjunto de prueba inglés, superando ampliamente a los modelos de corrección post-ASR.
  • Los modelos Qwen fine-tuneados (1.5B y 7B) lograron CERs entre 25.7% y 30.0%.
  • Comparación con MathSpeech: En el benchmark de MathSpeech, el modelo de los autores obtuvo un CER de 27.7% (vs 30.0% de MathSpeech). Sin embargo, en el nuevo benchmark S2L-equations, MathSpeech falló estrepitosamente con un 64% de CER, mientras que los modelos de los autores mantuvieron un 27.2%. Esto demuestra la superioridad de los nuevos modelos y la robustez del dataset frente a la variabilidad.
• Rendimiento en Oraciones (S2L-sentences):
  • La tarea es significativamente más difícil. El mejor modelo (SALMONN-13B) alcanzó un CER de 39.7% para las partes de ecuación dentro de las oraciones.
  • Se observó que los modelos fine-tuneados con datos humanos superan a los modelos few-shot y a los entrenados solo con datos sintéticos en este contexto.
• Idiomas: El entrenamiento multilingüe (inglés + ruso) mostró beneficios mixtos; en algunos casos mejoró la generalización, pero en otros (especialmente con modelos más pequeños) degradó el rendimiento en un idioma específico debido a desequilibrios.
• Calidad de Generación: A pesar de los CERs numéricos que parecen altos, la mayoría de los errores son locales (sustituciones de símbolos o índices) y no estructurales. El 98-99.5% de las ecuaciones generadas compilaban correctamente con KaTeX.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la IA multimodal en el ámbito educativo y científico:

• Accesibilidad: Facilita la transcripción automática de conferencias, la creación de apuntes digitales a partir de voz y el desarrollo de asistentes multimodales capaces de entender matemáticas complejas.
• Superación de Limitaciones: Demuestra que los modelos de lenguaje de audio (Audio-LLMs) pueden manejar la ambigüedad inherente al habla matemática mejor que los pipelines tradicionales de ASR + LM.
• Reproducibilidad: Al liberar el dataset y el código, se elimina la barrera de entrada para futuros investigadores, permitiendo el desarrollo de modelos más robustos y la exploración de nuevas técnicas de reconocimiento de contenido matemático.
• Futuro: Abre la puerta a la integración de métodos visuales-auditivos para resolver la ambigüedad en contextos de aula reales donde las ecuaciones se escriben en pizarras mientras se explican verbalmente.

En resumen, el artículo establece un nuevo estándar para la conversión de voz a LaTeX, proporcionando los datos y las arquitecturas necesarias para que las máquinas comprendan y transcriban el lenguaje matemático hablado con una precisión sin precedentes.