Resumen Técnico: SHARP – Análisis de Daño Social mediante Perfiles de Riesgo

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están desplegando cada vez más en dominios de alto riesgo (p. ej., salud, finanzas, justicia penal) donde fallos poco frecuentes pero severos pueden causar daños irreversibles. Los benchmarks de evaluación actuales dependen predominantemente de puntuaciones escalares centradas en la media (p. ej., precisión promedio, puntuaciones de sesgo agregadas). El artículo sostiene que estas métricas son insuficientes porque:

1. Ocultan la estructura de la distribución: Colapsan comportamientos heterogéneos en estimaciones puntuales, ocultando la variabilidad de las respuestas del modelo.
2. Ignoran el comportamiento de la cola: Modelos con un rendimiento promedio similar pueden exhibir comportamientos divergentes en el peor de los casos (eventos de la cola superior), los cuales dominan el riesgo práctico en entornos de alto riesgo.
3. Confunden las interacciones transdimensionales: No logran capturar cómo diferentes modos de fallo (sesgo, equidad, ética, fiabilidad epistémica) interactúan y se combinan.

En consecuencia, las prácticas de evaluación predominantes están mal alineadas con los riesgos de despliegue, y los mecanismos de gobernanza tienen dificultades para traducir los principios de alto nivel en métricas auditables y sensibles al riesgo.

Metodología: El Marco SHARP

Los autores introducen el Análisis de Daño Social mediante Perfiles de Riesgo (SHARP, por sus siglas en inglés), un marco diseñado para la evaluación multidimensional y consciente de la distribución del daño social. SHARP trata el daño no como una cantidad escalar, sino como una variable aleatoria multivariante sobre una distribución de prompts fija.

1. Protocolo de Evaluación

• Corpus: La evaluación se realiza sobre un corpus fijo de $n=901$ prompts socialmente sensibles derivados del Bias Evaluation and Assessment Test Suite (BEATS) y el benchmark BBQ.
• Juicio: Las respuestas de 11 LLMs de frontera son evaluadas por tres jueces basados en LLM a ciegas (Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1).
• Agregación: Las salidas de los jueces (indicadores booleanos y puntuaciones de severidad ordinal) se normalizan al intervalo $[0, 1]$. Para dar cuenta del desacuerdo enfatizando las evaluaciones severas, las puntuaciones se agregan utilizando un operador Log-Sum-Exp (LSE) con un parámetro de temperatura $\tau=0.20$. Esto interpola entre el promedio y el agrupamiento de máximo (max pooling), manteniendo la sensibilidad hacia las evaluaciones del peor de los casos.

2. Descomposición Dimensional

SHARP descompone el daño social en cuatro dimensiones distintas, cada una representada como un subíndice:

• Sesgo (B): Mide la amplitud de las categorías afectadas, la intensidad del daño y los factores amplificadores (explicitud, interseccionalidad).
• Equidad (F): Captura pistas de tratamiento inequitativo dentro de la respuesta (disparidad demográfica, brechas de igualdad de oportunidades, disparidad de grupo).
• Ética (E): Agrega indicadores de desalineación de valores (desalineación ética, conflicto de valores, riesgo de daño, insensibilidad cultural, riesgo de exclusión).
• Fiabilidad Epistémica (K): Mide la falta de fiabilidad (falta de solidez epistémica, riesgo epistémico).

3. Agregación Sensible al Riesgo

Para modelar el daño compuesto, SHARP emplea una formulación de unión de fallos inspirada en el análisis de fiabilidad.

• Daño Compuesto: La probabilidad de que ocurra cualquier daño a través de las dimensiones se modela como $H = 1 - \prod (1 - h_i)$.
• Log-Riesgo Aditivo: Para evitar la saturación cerca de 1 y permitir la descomponibilidad, SHARP reparametriza el residuo de seguridad utilizando una transformación de logaritmo negativo. El log-riesgo acumulado $L$ se define como:
  $$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$$
  Esto transforma las intensidades de daño acotadas en unidades de riesgo no acotadas, donde las contribuciones aditivas de las dimensiones individuales representan la presión de riesgo compuesto.

4. Perfilado Distribucional

En lugar de reportar una única puntuación media, SHARP caracteriza la distribución empírica de los valores de log-riesgo acumulado por prompt para cada modelo utilizando:

• Riesgo Logarítmico Esperado ($\mu_L$): Tendencia central.
• Volatilidad del Riesgo ($\sigma_L$): Dispersión del riesgo entre los prompts.
• Valor en Riesgo Condicional ($CVaR_{0.95}$): La métrica principal, que representa el riesgo logarítmico esperado entre el 5% de los prompts con peor desempeño. Esto captura explícitamente la severidad de la cola.

Resultados Clave

El marco fue aplicado a 11 LLMs de frontera (incluyendo sistemas propietarios y de pesos abiertos).

1. Divergencia entre el Riesgo Medio y el de la Cola

Modelos con perfiles de riesgo promedio similares exhibieron diferencias pronunciadas en su comportamiento de cola.

• Ejemplo: Claude Sonnet 4.5 logró un $CVaR_{0.95}$ de 1.69, mientras que DeepSeek-Chat y Mistral-Large alcanzaron 5.73 y 5.99, respectivamente. Esto representa un aumento de más de tres veces en el daño compuesto del peor de los casos a pesar de tener valores de log-riesgo medio relativamente cercanos.
• Significancia: Los resúmenes basados en la media subestiman sistemáticamente el comportamiento extremo. LLaMA-3 405B mostró un $CVaR_{0.95}$ más de cuatro veces superior al del modelo de menor riesgo.

2. Heterogeneidad Dimensional

• Severidades de Cola Marginales: Los daños relacionados con el sesgo exhibieron consistentemente las severidades de cola más fuertes en todos los modelos. Los riesgos epistémicos y de equidad ocuparon regímenes intermedios, mientras que la desalineación ética fue consistentemente menor.
• Atribución de Cola Compuesta: Los impulsores de los fallos compuestos del peor de los casos variaron según el modelo. Para algunos sistemas (p. ej., Claude 3.5 Sonnet, GPT-4o), la falta de fiabilidad epistémica fue un contribuyente importante al riesgo de cola. Para otros (p. ej., modelos de pesos abiertos de mayor riesgo), los mecanismos de sesgo dominaron. Esto indica que ningún solo dimensión impulsa uniformemente los resultados del peor de los casos en todos los modelos.

3. Validación Estadística

• Estabilidad: Los análisis de remuestreo bootstrap y de exclusión de un juez (leave-one-judge-out) confirmaron que los rankings de los modelos basados en $CVaR_{0.95}$ son estables y robustos a las variaciones en la composición de los jueces y en los parámetros de agregación.
• Dependencia de los Prompts: La descomposición de la varianza reveló que la identidad del prompt explica una parte mayor de la varianza total (25.8%) que la identidad del modelo (13.9%), subrayando la naturaleza sensible al contexto del daño social y la necesidad de un análisis distribucional sobre las estimaciones puntuales.

Significancia y Reivindicaciones

El artículo posiciona a SHARP como un avance metodológico más que como una fuente de tasas de daño en el mundo real absolutamente calibradas.

• Cambio de Escalar a Distribucional: La contribución principal es el argumento de que el daño social no puede caracterizarse adecuadamente como una cantidad escalar. Una evaluación efectiva requiere métodos que modelen explícitamente la geometría de la distribución del daño y sus interacciones transdimensionales.
• Selección Restringida por Riesgo: SHARP permite un cambio de la ordenación total por rendimiento promedio hacia una selección de modelos restringida por riesgo. Al utilizar umbrales sensibles a la cola (p. ej., $CVaR_{0.95}$), las partes interesadas pueden excluir modelos con una exposición inaceptable en el peor de los casos, independientemente de su desempeño medio.
• Mitigación Dirigida: La descomposición dimensional permite el diagnóstico de modos de fallo específicos (p. ej., distinguir entre riesgos de cola impulsados por sesgo o por la falta de fiabilidad epistémica), apoyando intervenciones dirigidas en lugar de una remediación uniforme.
• Limitaciones: Los autores declaran explícitamente que SHARP no proporciona garantías de equidad a nivel poblacional ni probabilidades calibradas de daño en el mundo real. El marco evalúa el comportamiento intrínseco de un solo turno bajo una distribución de prompts fija y principalmente en inglés. Un bajo riesgo medido puede reflejar una negativa o desviación en lugar de una ejecución segura de la tarea, y los resultados están condicionados al conjunto de jueces elegido.

En resumen, SHARP proporciona una base reproducible y consciente de la distribución para la evaluación comparativa y sensible a la cola, demostrando que la evaluación significativa del riesgo de los LLM requiere ir más allá de los promedios escalares hacia un perfilado multidimensional del comportamiento en el peor de los casos.