Resumen Técnico: ¿Deberíamos escribir o hablar a los agentes LLM?

Planteamiento del Problema

La interacción humana con los Modelos de Lenguaje Extensos (LLM) desplegados ocurre principalmente a través de dos canales: escribir en un teclado QWERTY y hablar a una interfaz de voz. Ninguno de los dos canales entrega una entrada "limpia". La escritura introduce ruido ortográfico (por ejemplo, sustituciones de teclas adyacentes, transposiciones), mientras que el habla llega al modelo a través de una capa de transcripción que introduce disfluencias (muletillas, inicios falsos), sustituciones de homófonos y, cada vez más, reescrituras integrales por parte de herramientas de dictado respaldadas por IA. Si bien la robustez ante el ruido tipográfico y la disfluencia verbal se ha estudiado de forma aislada, existe una falta de comparación sistemática entre estas modalidades, particularmente respecto al impacto de las reescrituras de transcripción impulsadas por IA moderna. Además, los benchmarks existentes suelen depender de ruido sintético que no refleja los errores motores específicos de la mecanografía o las reescrituras estructurales de las herramientas de dictado.

Metodología: El Motor HIVE

Para abordar estas brechas, los autores presentan HIVE (Human Input-Variation Engine), una suite de perturbación diseñada para reproducir los errores específicos inherentes a los canales de entrada humana.

• Arquitectura: HIVE consta de 17 operadores y 2 controles, implementados mediante transformaciones basadas en reglas con semilla o transferencia de estilo mediante few-shot LLM (usando Qwen2.5-7B-Instruct).
• Operadores de Voz (11): Estos modelan el pipeline de transcripción.
  • Registros: "Spoken-casual" (estilo podcast con alta tasa de muletillas) y "Spoken-formal" (charla preparada).
  • Reescrituras: "Spoken-succinct" (comprime y reordena) y "Spoken-clean" (ajusta la redacción preservando la estructura).
  • Factores Deterministas: Aíslan propiedades superficiales específicas como la inyección de muletillas, la conversión de números a palabras, la eliminación de palabras funcionales, la pérdida de mayúsculas/puntuación y la sustitución de homófonos.
• Operadores de Teclado (6): Estos modelan errores motores en un diseño QWERTY.
  • Incluyen sustituciones de teclas vecinas, transposiciones, repetición de teclas, inserciones de teclas conectadas, omisión de espacios y un control de reemplazo aleatorio.
  • Las ediciones se aplican sobre la base de Damerau–Levenshtein con distancias fijas por palabra.
• Configuración Experimental:
  • Modelos: Cinco modelos ajustados para instrucciones (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3, Qwen3-8B, phi-4).
  • Benchmarks: Seis conjuntos de datos que cubren aritmética (GSM8K, GSM-Symbolic, GSM1k), síntesis de código (HumanEval) y razonamiento de opción múltiple (MMLU-Pro, TruthfulQA).
  • Protocolo: Decodificación greedy con evaluación de pares emparejados (limpio vs. perturbado) a través de 5 semillas para aislar los efectos de la perturbación del ruido de muestreo.

Hallazgos Clave

1. La transcripción de voz encarece la precisión; la estructura importa más que las muletillas

Las perturbaciones de transcripción de voz reducen consistentemente la precisión en todos los modelos probados. El operador más dañino es "spoken-succinct" (compresión y reordenamiento), que reduce la precisión en aproximadamente 24 puntos porcentuales. Crucialmente, la penalización es impulsada por la estructura de la transcripción más que por la presencia de muletillas.

• Eliminar muletillas de un transcript hablado ("spoken-filler-stripped") no recupera la precisión.
• Añadir muletillas a un texto limpio ("clean+fillers") sí reduce la precisión, pero de forma menos severa que el registro hablado completo.
• Esto sugiere que la penalización está "sobredeterminada": las muletillas son suficientes para causar daño, pero no necesarias, ya que la reestructuración del registro (por ejemplo, oraciones interminables, encadenamiento de cláusulas) daña el rendimiento de forma independiente.

2. Las perturbaciones de teclado son menos dañinas

Los errores de teclado QWERTY son significativamente menos costosos que los de voz, con una caída de precisión promedio de ~3.0 puntos frente a ~9.7 puntos para la voz.

• Los modelos absorben una cantidad sorprendente de errores de mecanografía antes de que el rendimiento colapse. La precisión permanece plana hasta que aproximadamente el 12% de las palabras contienen errores, tras lo cual cae abruptamente.
• Concentración vs. Dispersión: Tres ediciones dentro del 20% de las palabras son el doble de dañinas que una edición dispersa en el 50% de las palabras, ya que las palabras fuertemente editadas se vuelven irrecuperables en contexto.
• Los errores específicos de QWERTY (sustituciones de vecinos) son ligeramente menos dañinos que los reemplazos aleatorios arbitrarios, probablemente porque las sustituciones de vecinos suelen resultar en tokens alternativos menos plausibles.

3. La brecha de modalidad es un efecto de la tarea de razonamiento

La brecha de rendimiento entre la voz y la mecanografía parece ocurrir casi exclusivamente en tareas que requieren que el modelo construya o deduzca una respuesta (por ejemplo, aritmética, generación de código).

• En tareas de opción múltiple donde la respuesta se selecciona de opciones proporcionadas, la brecha entre voz y mecanografía es insignificante.
• En tareas de generación, las entradas de voz resultan en una precisión de 6 a 7 puntos porcentuales menor que la mecanografía.

4. La supervivencia de los tokens es el principal predictor de daño

La causa fundamental de la degradación del rendimiento es la destrucción de los tokens originales.

• Existe una fuerte correlación positiva ($r=+0.79$) entre el porcentaje de tokens originales de la pregunta que sobreviven a la perturbación y la precisión resultante.
• Añadir nuevos tokens (inflación de tokens) tiene un impacto negativo mínimo comparado con la destrucción de los existentes.
• Los operadores que preservan la secuencia de tokens original (incluso con la adición de muletillas) son mucho menos dañinos que aquellos que reescriben o comprimen el texto, lo cual destruye la tokenización original.

5. El daño no se debe únicamente a la contaminación del conjunto de prueba

La penalización de rendimiento persiste en los conjuntos de datos decontaminados (GSM-Symbolic y GSM1k), que regeneran problemas con nuevas formas superficiales mientras preservan la lógica de razonamiento. Esto indica que el daño no es simplemente debido a que los modelos recuperen soluciones memorizadas de sus datos de entrenamiento, sino que refleja una incapacidad genuina para procesar la estructura de la entrada perturbada.

6. La adaptación ligera no puede mitigar el daño

Los intentos de entrenar modelos para absorber estas perturbaciones mediante auto-destilación (adaptadores LoRA) fueron mayoritariamente infructuosos.

• Las configuraciones de adaptación de alto rango pudieron cerrar la brecha para el habla conversacional, pero solo a costa de reducir el rendimiento del modelo en entradas limpias, lo que viola la restricción de que la robustez no debe ocurrir a expensas del rendimiento base.
• Las configuraciones de bajo rango preservaron la precisión limpia pero no lograron mejorar el rendimiento en entradas perturbadas.
• Añadir términos para penalizar la atención a las muletillas o alinear los estados ocultos no logró cerrar la brecha. El daño parece intrínseco a la arquitectura actual del modelo y su distribución de entrenamiento.

7. Los presupuestos de "pensamiento" recuperan el teclado, pero no la voz

Habilitar un modo de "pensamiento" (razonamiento de cadena de pensamiento o chain-of-thought) en Qwen3-8B recupera casi por completo el rendimiento en las perturbaciones de teclado, pero deja los registros hablados esencialmente intactos.

• El razonamiento ayuda a reconstruir el texto desordenado donde se preservan los tokens originales (erro errores de teclado).
• Falla en recuperar el rendimiento cuando la estructura de la entrada es fundamentalmente alterada o comprimida (reescrituras de voz); notablemente, el rendimiento de la voz comprimida empeora con un presupuesto de pensamiento habilitado.
• Esto sugiere que el razonamiento puede reparar el ruido a nivel de token, pero no puede compensar la pérdida de la secuencia de tokens original y la integridad estructural inherente a las reescrituras de voz.

Significado y Reivindicaciones

El artículo afirma que hablar es actualmente el "canal caro" para interactuar con los LLM, principalmente debido a las reescrituras estructurales introducidas por las herramientas de dictado impulsadas por IA. Los autores argumentan que el daño no es un simple problema de ruido, sino una pérdida de la secuencia de tokens original y de la integridad estructural requerida para el razonamiento.

Implicaciones Prácticas:

• Para los Usuarios: Al usar interfaces de voz, la frase expresada es la frase de la que el modelo debe trabajar; los usuarios deben evitar divagar o confiar en que las herramientas posteriores "limpien" el texto, ya que la eliminación mínima de disfluencias es preferible a la reescritura estructural.
• Para los Desarrolladores: Los front-ends de dictado deben minimizar el reformateo y la reestructuración de la entrada del usuario. El daño más significativo medido proviene de la capa de "reescritura" de las herramientas de dictado, que es también "lo más fácil de cambiar".
• Para la Investigación: La robustez ante la perturbación de la entrada es específica de la modalidad. Los modelos robustos ante errores de teclado no son necesariamente robustos ante la disfluencia del habla, y la adaptación ligera es insuficiente para cerrar esta brecha.

El estudio concluye que, si bien los errores de mecanografía pueden ser absorbidos por los modelos de razonamiento, las alteraciones estructurales inherentes a la transcripción de voz (particularmente las reescrituras impulsadas por IA) plantean un desafío fundamental que los modelos actuales y las estrategias de adaptación ligera no pueden superar por completo.