QAQ: Bidirectional Semantic Coherence for Selecting High-Quality Synthetic Code Instructions

1. Problema Identificado

El entrenamiento de modelos de generación de código depende cada vez más de datos sintéticos (generados por LLMs sin semillas humanas, como en Magpie o WarriorCoder). Sin embargo, estos datos introducen un ruido significativo y alucinaciones difíciles de detectar con métricas actuales.

El artículo identifica dos modos de fallo críticos en los pares pregunta-respuesta (Q, A) sintéticos que las métricas tradicionales pasan por alto:

1. Alta calidad superficial pero sin señal de aprendizaje: Consultas con terminología inventada (ej. "convertir una matriz gritty sulla") donde el modelo genera código sintácticamente válido que repite los términos inventados. Esto genera una alta coherencia superficial pero cero valor educativo.
2. Desalineación semántica: Consultas fuera de tema (ej. "¡Hola!") con respuestas incoherentes o genéricas.

Las métricas existentes, como la Dificultad de Seguimiento de Instrucciones (IFD), evalúan la dificultad de generar la respuesta dada la pregunta ($P(A|Q)$). El artículo demuestra que esta dirección es ambigua en datos ruidosos y tiene una correlación muy baja ($\rho = 0.252$) con la calidad real de los datos sintéticos.

2. Metodología Propuesta: QAQ

Los autores proponen QAQ (Query, Answer-Query), un marco de selección de datos que invierte la dirección de análisis para evaluar la coherencia semántica bidireccional.

A. Información Mutua Inversa (RMI)

En lugar de medir qué tan difícil es generar la respuesta, QAQ mide qué tan bien la respuesta explica la pregunta. Se define la Información Mutua Inversa (RMI) como:
$$RMI(Q, A) = \log PPL(Q) - \log PPL(Q|A)$$
Donde:

• $PPL(Q)$: Perplejidad de la pregunta sola.
• $PPL(Q|A)$: Perplejidad de la pregunta condicionada a la respuesta (calculada mediante una tarea de generación inversa: "Dada esta respuesta, genera la pregunta más probable").

Interpretación de RMI:

• RMI Bajo: Indica desalineación semántica (la respuesta no ayuda a predecir la pregunta; ej. respuestas genéricas o errores de copia).
• RMI Excesivamente Alto: Indica patrones defectuosos donde la respuesta hace la pregunta trivialmente predecible, a menudo debido a parafraseo superficial, repetición de palabras clave o "eco" de la consulta (ej. repetir jerga inventada).
• RMI Intermedio ("Sweet Spot"): Representa una coherencia semántica fuerte sin redundancia trivial.

B. RMI Estratificado

Dado que la complejidad de la pregunta influye en el RMI (preguntas simples tienen un techo de RMI más bajo), el método estratifica los datos en 10 bins basados en la complejidad de la pregunta ($PPL(Q)$) y calcula el rango de RMI dentro de cada bin. Esto evita filtrar incorrectamente preguntas válidas pero simples.

C. Desacuerdo de Modelos (Señal de "Brecha Cognitiva")

El método utiliza dos modelos: uno fuerte ($M_s$) y uno débil ($M_w$).

• Se calculan los rangos normalizados de RMI ($r_s$ y $r_w$) para cada muestra.
• Se define la señal de desacuerdo: $Diff = r_s - r_w$.
• Estrategia de Selección: Se retienen las muestras donde el modelo fuerte otorga un alto RMI (reconoce la calidad/validez) pero el modelo débil otorga un bajo RMI (encuentra el patrón difícil o no lo reconoce).
• Hipótesis: Estas muestras representan un "vacío cognitivo": son válidas (detectadas por el experto) pero desafiantes (no triviales para el principiante), ofreciendo la mejor señal de aprendizaje.

3. Contribuciones Clave

1. Identificación de la calidad de la consulta: Demostraron que los pipelines de datos sintéticos sin semillas a menudo descuidan la calidad de la consulta, no solo la respuesta.
2. Método QAQ y RMI: Propusieron una métrica basada en la dirección inversa ($Q|A$) que captura la alineación semántica real, superando a las métricas unidireccionales tradicionales.
3. Filtrado de extremos: Demostraron empíricamente que tanto los valores de RMI muy bajos (desalineación) como muy altos (patrones de atajo/parafraseo) deben ser filtrados, dejando un rango medio óptimo.
4. Uso del desacuerdo de modelos: Introdujeron el desacuerdo entre modelos fuertes y débiles como una señal de selección superior a la concordancia, capturando muestras de alta calidad que solo los modelos avanzados pueden validar.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset WarriorCoder (310k muestras) y se evaluaron en benchmarks de código como HumanEval, HumanEval+, MBPP y MBPP+.

• Eficiencia de Datos: Seleccionar solo el 25% de los datos utilizando la estrategia de RMI estratificado con señal de desacuerdo (Diff-High) logró un rendimiento comparable al entrenamiento con el 100% de los datos.
• Superioridad sobre Baselines: El método superó consistentemente a:
  • Muestreo aleatorio.
  • Métodos basados en IFD (top 25%).
  • Métodos basados en consistencia de estilo (SCAR).
  • Métodos basados en consenso de modelos (Sum-High).
• Hallazgos Específicos:
  • El rango medio de RMI (50-75%) fue el óptimo.
  • El top 25% de RMI (muy alto) tuvo un rendimiento inferior, confirmando que contiene patrones defectuosos de parafraseo.
  • La selección basada en desacuerdo (Diff-High) superó a la selección basada en consenso (Sum-High) en ~3 puntos en HumanEval+, validando que las muestras donde solo el modelo fuerte ve calidad son las más valiosas.

5. Significado e Impacto

El trabajo de QAQ ofrece una vía escalable para reducir drásticamente los costos computacionales en el entrenamiento de modelos de código sin sacrificar capacidades. Al cambiar el enfoque de "dificultad de generación" a "poder explicativo de la respuesta" y aprovechar las diferencias en la capacidad de los modelos, el método permite curar datasets sintéticos masivos eliminando sistemáticamente el ruido, la alucinación y la redundancia trivial. Esto es crucial para la sostenibilidad del entrenamiento de LLMs en la era de los datos sintéticos.