Resumen Técnico: Auditoría de Sensibilidad de Caja Blanca con Vectores de Dirección

Declaración del Problema

Las auditorías algorítmicas actuales para Modelos de Lenguaje Grandes (LLM) dependen predominantemente de evaluaciones de caja negra, que evalúan el comportamiento del modelo únicamente mediante pruebas de entrada-salida. Estos métodos enfrentan tres limitaciones críticas:

1. Restricciones de Superficie: Se limitan a pruebas construidas en el espacio de entrada, a menudo generadas por heurísticas, lo que las hace susceptibles a la sensibilidad de los prompts y a resultados inconsistentes.
2. Dificultad con Conceptos Abstractos: Muchas propiedades socialmente relevantes, como el sesgo de género o racial, involucran conceptos abstractos que son difíciles de encapsular o manipular con precisión utilizando únicamente entradas basadas en texto. Los modelos pueden parecer imparciales cuando los atributos protegidos explícitos son perturbados, pero aún así exhiben sesgo a través de proxies implícitos.
3. Riesgo de Goodharting: Los proveedores pueden optimizar los modelos para aprobar pruebas específicas de caja negra sin abordar problemas subyacentes, lo que conduce a evaluaciones poco fiables.

Si bien el acceso de caja blanca (pesos, activaciones, gradientes) es teóricamente superior para comprender los mecanismos internos, trabajos anteriores no han proporcionado un enfoque técnico concreto para realizar dichas auditorías en la práctica.

Metodología

Los autores proponen un marco de auditoría de sensibilidad de caja blanca que aprovecha la dirección de activaciones para manipular las representaciones internas del modelo y evaluar la sensibilidad a conceptos específicos. El marco adapta el método de interpretabilidad post-hoc de Kim et al. (2018) y utiliza el método no supervisado de Diferencia Media Ponderada (WMD) (Cyberey et al., 2025) para la extracción de vectores.

El proceso de auditoría sigue un marco de seis pasos:

1. Contexto y Requisitos: Definir el entorno de implementación y los requisitos del sistema (por ejemplo, invarianza al género en la puntuación crediticia).
2. Construcción de Pruebas: Diseñar plantillas de prueba representativas alineadas con los usos previstos.
3. Extracción de Vectores de Dirección:
   • Se utiliza un conjunto de datos $D_C$ que abarca diversos grados de un concepto objetivo $C$ (por ejemplo, lenguaje con género o diferencias dialectales).
   • El método WMD calcula un vector de dirección $v_C$ ponderando las activaciones de entrada por sus puntuaciones de disparidad (diferencia en la probabilidad de salida entre conceptos contrastantes).
   • Se aplican desplazamientos neutrales para filtrar información no relacionada, y la selección de capas se basa en la separabilidad lineal.
4. Pruebas de Sensibilidad:
   • Para un conjunto de entradas de prueba $D$, los marcadores explícitos del atributo protegido se neutralizan o eliminan.
   • La representación interna $h_x$ de una entrada se perturba: $h'_x = h_x + \lambda v_C$, donde $\lambda \in [-1, 1]$ es el coeficiente de dirección.
   • El modelo genera salidas dirigidas $y'$ para varios valores de $\lambda$.
5. Evaluación de Cumplimiento:
   • Se calcula una Métrica de Sensibilidad ($S_C$) ajustando una regresión lineal entre el coeficiente de dirección $\lambda$ y la salida $y'$. La pendiente representa la dependencia promedio del modelo con respecto al concepto $C$.
   • Requisito de Invarianza: El modelo cumple el requisito si $|S_C| \le \epsilon$ (sensibilidad negligible).
   • Requisito de Dependencia: El modelo cumple el requisito si $|S_C| \ge \epsilon$ (sensibilidad significativa y predecible).

Contribuciones Clave

1. Marco Concreto de Caja Blanca: El artículo introduce un método de auditoría práctico y de extremo a extremo que utiliza intervenciones dirigidas en los componentes internos del modelo en lugar de perturbaciones de entrada superficiales.
2. Métrica de Evaluación Novel: Aplica la dirección de activaciones para medir la sensibilidad del modelo mediante derivadas direccionales, permitiendo una evaluación detallada de las propiedades del modelo (por ejemplo, sesgo) en una escala graduada en lugar de un resultado binario de aprobado/reprobado.
3. Generalizabilidad: El método demuestra que los vectores de dirección extraídos de conjuntos de datos generales (por ejemplo, lenguaje con género) pueden aplicarse para manipular conceptos en entradas específicas de tareas (por ejemplo, solicitudes de préstamo) que pueden no estar relacionadas con los datos de extracción.
4. Robustez: El enfoque produce resultados de evaluación más consistentes a través de diferentes fuentes de vectores en comparación con la variabilidad observada en las estrategias de perturbación de caja negra.

Resultados Experimentales

El método fue evaluado en cuatro tareas de decisión de alto riesgo: Juicios Judiciales, Puntuación Crediticia, Admisiones Universitarias y Diagnóstico Médico, utilizando modelos que incluyen Llama-3.1, Ministral, Qwen2.5 y variantes específicas del dominio.

• Discrepancia con Caja Negra: En las tareas de Puntuación Crediticia y Judiciales, el método de caja blanca detectó frecuentemente un sesgo sustancial (dependencia de atributos protegidos) donde las evaluaciones estándar de caja negra sugerían poco o ningún sesgo. Por ejemplo, en la tarea judicial, el modelo Saul-7B mostró un sesgo de ~2.5% en las tasas de condena mediante pruebas de caja negra, pero el método de caja blanca reveló una diferencia de sensibilidad del 20% entre grupos raciales.
• Validación de Sesgo Oculto: En la Puntuación Crediticia, cuando el método de caja negra se modificó para usar perturbaciones de nombres (señales implícitas de género) en lugar de etiquetas de género explícitas, el sesgo medido aumentó y se alineó con las estimaciones de caja blanca. Esto sugiere que el método de caja blanca captura riesgos reales de sesgo que las perturbaciones explícitas de caja negra pasan por alto.
• Aislamiento de Variables: Utilizando índices de Sobol', los autores demostraron que la dirección de caja blanca tuvo un impacto mínimo en las variables de tarea no protegidas (por ejemplo, historial crediticio, duración del empleo), mientras que las perturbaciones de entrada de caja negra (como agregar nombres) a veces alteraron la descomposición del modelo de estas variables.
• Robustez: Los resultados de caja blanca permanecieron consistentes cuando los vectores de dirección se derivaron de diferentes conjuntos de datos (identidad dialectal vs. racial), mientras que los resultados de caja negra variaron significativamente dependiendo de si la raza se perturbaba explícita o implícitamente.

Significado y Afirmaciones

El artículo afirma que las evaluaciones de caja negra de nivel superficial son insuficientes para evaluar propiedades abstractas del modelo como el sesgo. Al sondear directamente las representaciones internas, el método propuesto de caja blanca:

• Revela Dependencias Ocultas: Identifica una dependencia sustancial de atributos protegidos que eluden las pruebas tradicionales de entrada-salida.
• Mejora la Fiabilidad: Proporciona resultados de auditoría más consistentes que son menos sensibles a la construcción específica de los prompts de prueba.
• Mejora la Interpretabilidad: Permite a los auditores aislar conceptos específicos dentro del espacio latente del modelo, ofreciendo una evaluación más rigurosa de si un modelo opera de manera confiable en su contexto de implementación previsto.

Los autores concluyen que, si bien la hipótesis de representación lineal sustenta su método, este enfoque ofrece un camino práctico hacia una auditoría algorítmica más rigurosa, transparente y confiable para LLM en entornos de alto riesgo.