Resumen Técnico: DiaLLM – Una investigación sobre la brecha entre robustez y generación en la adaptación de dialectos del inglés

1. Planteamiento del problema

Los modelos de lenguaje extensos (LLM) han demostrado una capacidad creciente para comprender el inglés dialectal, pero predominantemente generan resultados en un inglés estándar con tendencia estadounidense. Esto crea una "brecha de robustez-generación": los modelos pueden tolerar la entrada dialectal (robustez) pero fallan al producir una salida dialectal apropiada (generación). Los enfoques existentes, como los adaptadores de dialectos (p. ej., TADA, HyperLoRA) o las adaptaciones de bajo rango (LoRDD), se centran principalmente en la robustez de la comprensión del lenguaje natural (NLU) bajo la entrada dialectal. Ninguno ha investigado sistemáticamente la adaptación de todo el proceso —abarcando el preentrenamiento continuo, el ajuste fino supervisado (SFT) y el alineamiento— ni han determinado si los modelos pueden genuinamente producir texto con marcas dialectales. Además, los benchmarks actuales a menudo no logran capturar los matices de la generación dialectal, centrándose en su lugar en la robustez de la entrada.

2. Metodología

2.1 Modelos base y corpus

El estudio utiliza tres familias de LLM de pesos abiertos que abarcan diferentes arquitecturas y rangos de parámetros: Llama 3.1-8B, Qwen 3-8B y Gemma 3-4B-it.
Los modelos son sometidos a un preentrenamiento continuo (CPT) en el International Corpus of English (ICE), una colección de 18 variedades de inglés (aprox. 20 millones de tokens) que cubre tanto variedades del "Círculo Interno" (p. ej., Reino Unido, EE. UU.) como del "Círculo Externo" (p. ej., India, Nigeria). El CPT se realiza utilizando GaLore para una optimización de parámetros completos eficiente en memoria.

2.2 Paradigmas de post-entrenamiento

A partir de los checkpoints de CPT, los autores persiguen dos hilos de adaptación distintos:

1. Adaptación Implícita: Aplica el ajuste fino de instrucciones estándar (SFT) sobre datos de preferencia general (UltraFeedback) seguido de un alineamiento amplio. Este hilo no apunta explícitamente a dialectos específicos durante el SFT.
2. Adaptación Explícita: Aplica un SFT específico de dialecto (SFTd) utilizando un conjunto de datos donde las completaciones preferidas se transforman en los dialectos objetivo (australiano, indio, inglés del norte de Gran Bretaña) usando la biblioteca Multi-VALUE y las características de eWAVE. Esto es seguido por un alineamiento dirigido a la variedad.

2.3 Estrategias de alineamiento

Se comparan tres métodos de alineamiento a través de ambos paradigmas:

• Optimización de Preferencia Directa (DPO): Un método offline que optimiza directamente desde pares contrastivos (dialectal vs. estándar).
• Optimización de Política Relativa de Grupo (GRPO): Un método online que genera múltiples ejecuciones (rollouts) por prompt y estima un baseline a partir de la media del grupo de recompensas.
• Optimización de Política de Secuencia de Grupo (GSPO): Similar a GRPO, pero emplea el reponderado a nivel de secuencia en lugar del muestreo de importancia a nivel de token para evitar el sesgo.

2.4 Formulación de la recompensa

Para el alineamiento online (GRPO/GSPO), se utiliza una función de recompensa compuesta:
$$R = \lambda \cdot \phi_{dial}(y) + \frac{1-\lambda}{2} \cdot \phi_{comet}(y, \hat{y}) + \frac{1-\lambda}{2} \cdot \phi_{cos}(y, \hat{y})$$

• $\phi_{dial}(y)$: Una recompensa de suma logarítmica derivada de un clasificador multietiqueta que detecta 135 rasgos morfosintácticos y léxicos de la base de datos tipológica eWAVE.
• $\phi_{comet}$ y $\phi_{cos}$: Métricas que aseguran la fidelidad semántica y la preservación del significado frente a la completación elegida en el SFT.
• $\lambda$ se fija en 0.80 para priorizar los rasgos dialectales.

2.5 Evaluación

La evaluación va más allá de los benchmarks estándar (BBH, GPQA, GLUE, VALUE, BESSTIE) para incluir:

• Métricas Automáticas: Un clasificador de variedades (DeBERTa-v3-base) para detectar los dialectos objetivo.
• Preferencia Humana: Hablantes nativos realizan comparaciones pareadas o de tres vías de las salidas.
• LLM-as-Judge (LLM como juez): Uso de Phi-4 para evaluar rasgos dialectales, con y sin listas explícitas de características de eWAVE en el prompt del sistema.
• Análisis Lingüístico: Un análisis independiente basado en reglas de los marcadores superficiales (léxicos, ortográficos, morfosintácticos) para verificar la riqueza dialectal sin depender de la señal de recompensa del entrenamiento.

3. Contribuciones clave

1. Marco DiaLLM: Un marco de adaptación dialectal de proceso completo que proporciona una comparación controlada de CPT, SFT y tres métodos de alineamiento (DPO, GRPO, GSPO) a través de dos paradigmas y tres familias de modelos. Todo el código, los checkpoints y los conjuntos de datos de preferencia se publican.
2. Brecha de Robustez-Generación: El estudio establece que el rendimiento en los benchmarks (robustez) es impulsado principalmente por el CPT y el SFT, mientras que los métodos de alineamiento tienen efectos marginales en los benchmarks pero remodelan visiblemente la generación de formas que los benchmarks no capturan.
3. Brecha de Recompensa-Calidad: El artículo expone una desconexión entre la optimización de las señales de recompensa dialectal y la producción de una salida dialectal de alta calidad. El método que optimiza más agresivamente la recompensa dialectal (GRPO) no es el preferido por los anotadores humanos ni por los jueces de LLM, y el análisis lingüístico independiente confirma que produce menos marcadores dialectales reconocibles que otros métodos.

4. Resultados clave

• Disociación de Robustez y Generación: Los benchmarks son moldeados por el CPT y el SFT. El alineamiento (DPO, GRPO, GSPO) produce cambios inconsistentes en las puntuaciones de los benchmarks pero altera significativamente el estilo de generación.
• El Objetivo Explícito es Preferido: La adaptación dirigida a la variedad (SFTd + alineamiento dirigido a la variedad) produce una salida reconocida de manera fiable como dialectal y es preferida sobre el alineamiento amplio tanto por humanos como por jueces de LLM.
• La Brecha de Recompensa-Calidad:
  • GRPO logra la mayor densidad de rasgos eWAVE (el objetivo de entrenamiento) en todas las familias de modelos.
  • Sin embargo, GRPO es el método menos preferido por los anotadores humanos y los jueces de LLM.
  • El análisis lingüístico independiente revela que GRPO produce la menor cantidad de marcadores dialectales superficiales y la menor diversidad de rasgos para Llama y Qwen, a pesar de maximizar la recompensa. Esto sugiere que la señal de recompensa basada en eWAVE fomenta una densidad de rasgos superficiales en lugar de una calidad dialectal auténtica y holística.
• Matices Específicos de la Variedad:
  • El inglés de la India (en-IN) y el inglés del norte de Gran Bretaña (en-UK) muestran claras preferencias por la adaptación explícita.
  • El inglés de Australia (en-AU) es una excepción; los anotadores no muestran una preferencia clara por el SFTd sobre la línea base, probablemente debido a la sutileza de los rasgos australianos y su flexibilidad de registro, que los prompts casuales no logran evocar de manera fiable.
• Rendimiento de los Métodos de Alineamiento: Ningún método de alineamiento único domina en todas las condiciones. DPO a menudo funciona mejor que GRPO en términos de calidad percibida, a pesar de tener puntuaciones de densidad de rasgos más bajas.

5. Significado y Reivindicaciones

Los autores afirman que DiaLLM proporciona un relato empírico crítico de la adaptación dialectal, desafiando la suposición de que maximizar una señal de recompensa dialectal equivale a generar texto dialectal auténtico.

• Limitaciones de los Benchmarks: El artículo argumenta que confiar únicamente en los benchmarks estándar ofrece una imagen incompleta y potencialmente engañosa de la adaptación dialectal, ya que no capturan los cambios cualitativos en la generación causados por el alineamiento.
• Diseño de la Recompensa: Los hallazgos resaltan una limitación específica en el uso de inventarios de rasgos tipológicos (como eWAVE) como señales de recompensa para el entrenamiento generativo. Estos inventarios documentan rasgos atestiguados, pero no tienen en cuenta el condicionamiento pragmático, el registro o la calidad perceptual del dialecto, lo que conduce a una "brecha de recompensa-calidad".
• Direcciones Futuras: El trabajo sugiere que cerrar la brecha dialectal requiere diseños de recompensa más ricos que vayan más allá de la simple densidad de rasgos y una inversión continua en recursos dialectales. Posiciona a DiaLLM no como una solución final, sino como un paso fundacional para comprender los límites actuales de la adaptación dialectal y los desafíos específicos para generar variedades de inglés no estándar auténticas.

Los autores enfatizan que su objetivo no era establecer una única "receta ganadora", sino demostrar empíricamente cómo diferentes componentes del proceso contribuyen a la adaptación dialectal y dónde fallan los métodos de alineamiento actuales.