Compared to What? Baselines and Metrics for Counterfactual Prompting

1. Declaración del Problema

El prompting contrafáctico es un método estándar para evaluar los Modelos de Lenguaje Grandes (LLM), donde los investigadores editan quirúrgicamente una entrada (por ejemplo, cambiar "hombre" por "mujer") para aislar el efecto de un factor específico (por ejemplo, el sesgo de género) en la salida del modelo. El supuesto central es que cualquier cambio observado en la salida es causalmente atribuible al cambio semántico objetivo.

Los autores argumentan que este supuesto es defectuoso porque viola el principio de inferencia causal de la Irrelevancia de la Variación del Tratamiento.

• El Problema: Cada edición contrafáctica es un "tratamiento compuesto". Agrupa la variable de interés (por ejemplo, género) con variaciones superficiales incidentales (por ejemplo, elecciones de palabras específicas, conteo de tokens, formulación).
• La Consecuencia: Se sabe que los LLM son sensibles a formulaciones arbitrarias y cambios de tokens (sensibilidad al prompt). Por lo tanto, un cambio de salida observado podría ser causado por el cambio en la estructura del texto en lugar del significado semántico de la perturbación.
• Brecha Actual: Trabajos anteriores a menudo interpretan los efectos de perturbación crudos (por ejemplo, una tasa de cambio de respuesta del 15%) como evidencia de sesgo o falta de fidelidad sin compararlos con una distribución "nula" de cambios inducidos por modificaciones benignas que preservan el significado.

2. Metodología

Los autores proponen un marco riguroso para distinguir entre efectos dirigidos (causados por la variable de interés) y sensibilidad general del modelo (causada por el ruido de la modificación de texto).

A. Diseño Experimental

1. Perturbación Dirigida ($D_{targeted}$): La intervención estándar (por ejemplo, cambio de género, cambio de estilo).
2. Perturbación de Línea Base ($D_{benign}$): Una condición de control diseñada para imitar los cambios superficiales del objetivo sin alterar la variable semántica.
   • Parafraseo Ajustado por Tokens: La línea base principal. Un LLM parafrasea la entrada para preservar la semántica pero cambia una fracción de tokens que coincide con el porcentaje de edición de tokens de la perturbación dirigida. Esto controla el hallazgo de que la sensibilidad del modelo escala con el número de tokens cambiados.
   • Oración Fija: Una línea base secundaria donde se añade una oración topicamente irrelevante al inicio del prompt.
3. Pruebas Estadísticas: En lugar de comparar métricas crudas, los autores utilizan pruebas estadísticas para determinar si la divergencia en la condición dirigida excede significativamente la divergencia en la condición de línea base.
   • Métricas por muestra: Pruebas t pareadas sobre las diferencias entre los valores de divergencia dirigidos y de línea base.
   • Métricas agregadas: Pruebas de bootstrap no paramétricas sobre la diferencia de estadísticas agregadas.
   • Regresión: Utilizada para hipótesis direccionales para estimar la magnitud y el signo del efecto sistemático.

B. Métricas Evaluadas

El artículo evalúa tres clases de métricas para cuantificar la divergencia de salida:

1. Métricas Agregadas:
   • Tasa de Cambio (Flip Rate): Fracción de instancias donde la respuesta categórica cambia.
   • Información Mutua (MI): Mide la consistencia de las respuestas entre condiciones.
   • Coeficiente Phi ($\phi$): Distingue el acuerdo del desacuerdo sistemático.
   • Limitación: Estas tienen baja potencia y pueden ser degeneradas bajo desequilibrio de clases.
2. Métricas Distribucionales por Muestra:
   • Divergencia de Kullback-Leibler (KL): Mide el desplazamiento en la distribución de probabilidad sobre las opciones de respuesta.
   • Divergencia de Jensen-Shannon (JSD): Una variante simétrica y acotada de KL.
   • Ventaja: Estas capturan desplazamientos distribucionales sutiles incluso cuando no se cruza el umbral de decisión final.
3. Coeficientes de Regresión:
   • Estima el desplazamiento direccional ($\beta$) cuando las perturbaciones tienen una codificación con signo (por ejemplo, +1 para mujer, -1 para hombre). Esto caracteriza tanto la magnitud como la dirección del sesgo.

3. Contribuciones Clave

1. Corrección Metodológica: Demuestra que sin una línea base de magnitud coincidente, los resultados contrafácticos son ininterpretables. Los efectos observados a menudo reflejan la sensibilidad general al prompt en lugar de la sensibilidad a un factor específico.
2. Propuesta de Marco: Introduce un marco de pruebas estadísticas que compara perturbaciones dirigidas contra líneas base de parafraseo ajustadas por tokens.
3. Análisis de Métricas: Prueba empíricamente que las métricas distribucionales por muestra (JSD, KL) y la regresión son significativamente más potentes que las métricas agregadas (Tasa de Cambio, MI, $\phi$), especialmente en conjuntos de datos desequilibrados.
4. Código Abierto: Libera cfprompt, un paquete de Python que implementa este marco.

4. Resultados Clave

A. Revisión de MedPerturb (Sesgo Médico)

• Afirmación Original: Un estudio anterior afirmaba que los LLM son altamente sensibles a las señales de género y estilo del paciente en la triaje médica.
• Nuevo Hallazgo: Al compararse con líneas base de parafraseo ajustadas por tokens:
  • Perturbaciones de Género: Los efectos observados (por ejemplo, una tasa de cambio del 14.9% para el cambio de género) fueron estadísticamente indistinguibles de los efectos del parafraseo de línea base (14.1%).
  • Conclusión: De 120 pruebas, solo 5 alcanzaron significancia (todas relacionadas con perturbaciones de estilo "colorido" en un modelo más pequeño). La afirmación de que los modelos son específicamente sensibles al género del paciente no está respaldada en gran medida; los efectos probablemente fueron ruido derivado de la sensibilidad general al texto.

B. Comprobaciones de Sanidad

• Recall (Control Positivo): Cuando la tarea se cambió explícitamente a "¿Es este paciente hombre?", el marco detectó correctamente un efecto masivo y significativo, demostrando que no es excesivamente conservador.
• Precisión (Control Negativo): Cambiar la edad de un paciente en un año (una perturbación mínima) no produjo un efecto significativo en comparación con la línea base, confirmando la especificidad del marco.

C. Bias-in-Bios (Sesgo Ocupacional)

• Contexto: Probar si los modelos asocian "Profesor" con hombres y "Enfermera" con mujeres.
• Hallazgos:
  • Métricas Agregadas: Mostraron tasas de cambio pequeñas y apenas significativas (por ejemplo, +0.7%), lo que llevó a una conclusión potencial de "sin sesgo".
  • Métricas por Muestra (JSD/KL): Detectaron desplazamientos distribucionales estadísticamente significativos ($p \approx 10^{-7}$).
  • Regresión: Reveló un sesgo direccional claro ($\hat{\beta} \approx -0.5$), indicando que cambiar una biografía a femenino disminuye sistemáticamente las log-odds de la etiqueta "Profesor".
  • Insight: El sesgo existe pero opera por debajo del umbral de decisión (las logit cambian sin invertir la respuesta binaria). Solo la regresión y las métricas distribucionales podían caracterizar esto.

D. Replicación de Q-Pain (Sesgo Racial)

• Al replicar un estudio sobre disparidades raciales en el manejo del dolor, los autores encontraron que 4 de cada 5 efectos demográficos significativos tenían efectos de línea base significativos correspondientes (parafraseo). Esto sugiere que los hallazgos originales de sesgo racial podrían haber estado confundidos por la sensibilidad general al texto.

5. Significado y Guía Práctica

Este artículo cambia fundamentalmente la forma en que debe realizarse el prompting contrafáctico en la evaluación de LLM.

• La línea base "Nula" es Obligatoria: Los investigadores deben incluir una perturbación de línea base (específicamente, un parafraseo ajustado por tokens) para establecer una distribución nula. Sin esto, los hallazgos de "sesgo" pueden ser artefactos de la sensibilidad al prompt.
• La Selección de Métricas Importa:
  • Evitar depender exclusivamente de la Tasa de Cambio o la MI, ya que carecen de potencia y fallan bajo desequilibrio de clases.
  • Usar JSD/KL para detectar desplazamientos distribucionales.
  • Usar Regresión para cuantificar la dirección y magnitud de los efectos.
• Coincidencia de Tokens: Las líneas base deben coincidir con el número de tokens cambiados por la perturbación objetivo, ya que la sensibilidad del modelo escala con la magnitud de la edición.
• Implicación: Muchas afirmaciones anteriores sobre el sesgo o la infidelidad de los LLM pueden estar exageradas o mal atribuidas. Los sesgos reales y sutiles existen (como se muestra en Bias-in-Bios) pero requieren herramientas estadísticas más sofisticadas para ser detectados.

En resumen, el artículo argumenta que el prompting contrafáctico no es un diagnóstico "plug-and-play"; requiere controles estadísticos rigurosos para separar la señal (sensibilidad real al factor) del ruido (sensibilidad general al prompt).