Resumo Técnico: SHARP – Análise de Dano Social via Perfis de Risco

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em domínios de alto risco (ex: saúde, finanças, justiça criminal) onde falhas raras, mas severas, podem causar danos irreversíveis. Os benchmarks de avaliação atuais dependem predominantemente de pontuações escalares centradas na média (ex: acurácia média, pontuações agregadas de viés). O artigo argumenta que essas métricas são insuficientes porque:

1. Ocultam a estrutura de distribuição: Elas colapsam comportamentos heterogêneos em estimativas pontuais, escondendo a variabilidade das respostas do modelo.
2. Ignoram o comportamento de cauda: Modelos com desempenho médio semelhante podem exibir comportamentos de pior caso drasticamente divergentes (eventos de cauda superior), que dominam o risco prático em configurações de alto risco.
3. Conflitam interações cross-dimensionais: Eles falham em capturar como diferentes modos de falha (viés, equidade, ética, confiabilidade epistêmica) interagem e se potencializam.

Consequentemente, as práticas de avaliação predominantes estão mal alinhadas com os riscos de implantação, e os mecanismos de governança têm dificuldade em traduzir princípios de alto nível em métricas auditáveis e sensíveis ao risco.

Metodologia: O Framework SHARP

Os autores introduzem o Social Harm Analysis via Risk Profiles (SHARP), um framework projetado para uma avaliação multidimensional e consciente da distribuição do dano social. O SHARP trata o dano não como uma quantidade escalar, mas como uma variável aleatória multivariada sobre uma distribuição fixa de prompts.

1. Protocolo de Avaliação

• Corpus: A avaliação é conduzida em um corpus fixo de $n=901$ prompts socialmente sensíveis derivados do Bias Evaluation and Assessment Test Suite (BEATS) e do benchmark BBQ.
• Julgamento: As respostas de 11 LLMs de fronteira são avaliadas por três juízes baseados em LLM cegos (Claude Sonnet 4.5, Gemini 2.5 Pro, GPT-5.1).
• Agregação: As saídas dos juízes (indicadores booleanos e pontuações de severidade ordinais) são normalizadas para $[0, 1]$. Para lidar com o desacordo, enfatizando avaliações severas, as pontuações são agregadas usando um operador Log-Sum-Exp (LSE) com um parâmetro de temperatura $\tau=0.20$. Isso interpola entre o pooling de média e de máximo, mantendo a sensibilidade às avaliações de pior caso.

2. Decomposição Dimensional

O SHARP decompõe o dano social em quatro dimensões distintas, cada uma representada como um sub-índice:

• Viés (B): Mede a amplitude das categorias afetadas, a intensidade do dano e fatores amplificadores (explicitude, interseccionalidade).
• Equidade (F): Captura pistas de tratamento inequitativo dentro da resposta (disparidade demográfica, lacunas de igualdade de oportunidade, disparidade de grupo).
• Ética (E): Agrega indicadores de desalinhamento de valores (desalinhamento ético, conflito de valores, risco de dano, insensibilidade cultural, risco de exclusão).
• Confiabilidade Epistêmica (K): Mede a não confiabilidade (impropriedade epistêmica, risco epistêmico).

3. Agregação Sensível ao Risco

Para modelar o dano composto, o SHARP emprega uma formulação de união de falhas inspirada na análise de confiabilidade.

• Dano Composto: A probabilidade de qualquer dano ocorrer através das dimensões é modelada como $H = 1 - \prod (1 - h_i)$.
• Log-Risco Aditivo: Para evitar a saturação próxima a 1 e permitir a decomponibilidade, o SHARP reparametriza o resíduo de segurança usando uma transformação de logaritmo negativo. O log-risco cumulativo $L$ é definido como:
  $$L = -\log(1 - H + \epsilon) = \sum_i -\log(1 - h_i + \epsilon)$$
  Isso transforma intensidades de dano limitadas em unidades de risco ilimitadas, onde as contribuições aditivas de dimensões individuais representam a pressão de risco composto.

4. Perfilamento Distribucional

Em vez de reportar uma única pontuação média, o SHARP caracteriza a distribuição empírica dos valores de log-risco cumulativo por prompt para cada modelo usando:

• Log-Risco Esperado ($\mu_L$): Tendência central.
• Volatilidade de Risco ($\sigma_L$): Dispersão do risco entre os prompts.
• Valor em Risco Condicional ($CVaR_{0.95}$): A métrica principal, que representa o log-risco esperado entre os 5% de piores desempenhos de prompts. Isso captura explicitamente a severidade da cauda.

Principais Resultados

O framework foi aplicado a 11 LLMs de fronteira (incluindo sistemas proprietários e de pesos abertos).

1. Divergência entre Média e Risco de Cauda

Modelos com perfis de risco médio semelhantes exibiram diferenças pronunciadas no comportamento de cauda.

• Exemplo: O Claude Sonnet 4.5 alcançou um $CVaR_{0.95}$ de 1.69, enquanto o DeepSeek-Chat e o Mistral-Large atingiram 5.73 e 5.99, respectivamente. Isso representa um aumento de mais de três vezes no dano composto de pior caso, apesar de possuírem valores de log-risco médio relativamente próximos.
• Significância: Resumos baseados na média subestimam sistematicamente o comportamento extremo. O LLaMA-3 405B apresentou um $CVaR_{0.95}$ mais de quatro vezes superior ao do modelo de menor risco.

2. Heterogeneidade Dimensional

• Severidades de Cauda Marginal: Danos relacionados ao viés exibiram consistentemente as severidades de cauda mais fortes em todos os modelos. Riscos epistêmicos e de equidade ocuparam regimes intermediários, enquanto o desalinhamento ético foi consistentemente menor.
• Atribuição de Cauda Composta: Os drivers das falhas compostas de pior caso variaram por modelo. Para alguns sistemas (ex: Claude 3.5 Sonnet, GPT-4o), a não confiabilidade epistêmica foi um grande contribuinte para o risco de cauda. Para outros (ex: modelos de pesos abertos de maior risco), os mecanismos relacionados ao viés dominaram. Isso indica que nenhum único elemento impulsiona uniformemente os resultados de pior caso entre todos os modelos.

3. Validação Estatística

• Estabilidade: Análises de reamostragem bootstrap e leave-one-judge-out confirmaram que os rankings de modelos baseados em $CVaR_{0.95}$ são estáveis e robustos a variações na composição dos juízes e nos parâmetros de agregação.
• Dependência de Prompt: A decomposição da variância revelou que a identidade do prompt explica uma parcela maior da variância total (25.8%) do que a identidade do modelo (13.9%), ressaltando a natureza sensível ao contexto do dano social e a necessidade de análise distribucional sobre estimativas pontuais.

Significância e Alegações

O artigo posiciona o SHARP como um avanço metodológico, e não como uma fonte de taxas de dano real absoluto e calibrado.

• Mudança do Escalar para o Distribucional: A principal contribuição é o argumento de que o danso social não pode ser adequadamente caracterizado como uma quantidade escalar. Uma avaliação eficaz requer métodos que modelem explicitamente a geometria distribucional do dano e suas interações cross-dimensionais.
• Seleção Restrita ao Risco: O SHARP permite uma mudança da ordenação total por desempenho médio para a seleção de modelos restrita ao risco. Ao usar limiares sensíveis à cauda (ex: $CVaR_{0.95}$), as partes interessadas podem excluir modelos com exposição de pior caso inaceitável, independentemente de seu desempenho médio.
• Mitigação Direcionada: A decomposição dimensional permite o diagnóstico de modos de falha específicos (ex: distinguir entre riscos de cauda impulsionados por viés versus impulsionados por questões epistêmicas), apoiando intervenções direcionadas em vez de remediação uniforme.
• Limitações: Os autores declaram explicitamente que o SHARP não fornece garantias de equidade populacional ou probabilidades calibradas de danos no mundo real. O framework avalia o comportamento intrínseco de turno único sob um corpus fixo de prompts predominantemente em inglês. O baixo risco medido pode refletir recusa ou desvio em vez de conclusão de tarefa segura, e os resultados são condicionais ao conjunto de juízes escolhido.

Em resumo, o SHARP fornece uma base reprodutível e consciente da distribuição para avaliação comparativa e sensível à cauda, demonstrando que a avaliação significativa do risco de LLMs exige ir além das médias escalares em direção ao perfilamento multidimensional do comportamento de pior caso.