Resumo Técnico: FailureScope – Diagnóstico Comportamental Trans-Regime de Fraquezas de Modelos de Linguagem

1. Declaração do Problema

Os benchmarks padrão de Grandes Modelos de Linguagem (LLMs) tipicamente reportam pontuações de acurácia agregadas (ex: MMLU, GSM8K), o que obscurece as capacidades específicas que um modelo carece. À medida que os modelos são implantados em cenários complexos, de múltiplos turnos e agentes, a lacuna entre um único número agregado e as necessidades diagnósticas específicas dos profissionais aumenta. Além disso, a comunidade de pesquisa fragmentou-se em subcomunidades distintas para benchmarks de turno único, diálogo de múltiplos turnos e avaliações de agentes adversariais, cada uma com métricas e estruturas diagnósticas distintas que não se transferem entre os regimes.

O artigo argumenta que a unidade fundamental de diagnóstico não deve ser a tarefa em si, mas o padrão comportamental trans-modelo: especificamente, quais modelos falham em determinado probe. Os métodos atuais frequentemente focam em comprimir benchmarks para reduzir custos de avaliação enquanto preservam rankings escalares, muitas vezes descartando a informação granular sobre os tipos de falhas que os profissionais necessitam.

2. Metodologia: FAILURESCOPE

Os autores introduzem o FAILURESCOPE, uma metodologia de diagnóstico comportamental que constrói taxonomias de falhas através do agrupamento (clustering) de probes de avaliação baseando-se em suas assinaturas de aprovação/falha trans-modelo. A abordagem é projetada para ser portátil entre diferentes regimes de avaliação.

Pipeline Central

A metodologia segue um algoritmo de cinco etapas que permanece consistente entre os regimes de turno único, múltiplos turnos e adversariais:

1. Construção da Matriz: Construir uma matriz de aprovação/falha de probe-por-modelo.
2. Imputação: Imputar entradas ausentes (comum quando modelos não são avaliados em todos os benchmarks) usando médias de coluna. Os autores observam que o uso de valores sentinela (ex: -1) injeta sinais de falsos negativos nos cálculos de distância.
3. Embedding & Normalização:
   • As tarefas são representadas por um vetor combinado: $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$.
   • $\hat{z}_{sem}$ é um embedding semântico (Voyage-3-Large).
   • $\hat{z}_{beh}$ é um vetor comportamental de 18 dimensões que codifica o status de aprovação/falha entre modelos.
   • Os autores descobrem que $\alpha=0.1$ (dominante comportamental) é o ideal, pois um pequeno componente semântico ajuda a separar clusters limítrofes sem sufocar o sinal comportamental.
   • Os vetores são normalizados via L2.
4. Clustering: Reduzir a dimensionalidade via UMAP (ou fallback de PCA) para 30 dimensões, então realizar o agrupamento via HDBSCAN.
5. Rotulagem: Os clusters são rotulados via exemplares induzidos por prompt de LLM (usando os 5 vizinhos mais próximos).

Protocolo de Validação: Leave-One-Model-Out (LOMO)

Para validar a taxonomia sem circularidade, os autores utilizam um protocolo LOMO:

• Um modelo ($m^*$) é isolado.
• A taxonomia é reconstruída utilizando os $N-1$ modelos restantes.
• O perfil de fraqueza do modelo isolado é então avaliado contra esta nova taxonomia usando duas métricas:
  1. Eficiência Diagnóstica: O quão bem a amostragem condicionada à taxonomia (selecionar tarefas para cobrir todos os clusters) recupera o ranking de fraquezas do modelo isolado em comparação com a amostragem aleatória ou estratificada? (Medido por Kendall's $\tau$).
  2. Predição Trans-Modelo: O perfil de falha do modelo isolado pode ser previsto com base em sua similaridade com os modelos de treinamento? (Medido por AUC).

3. Contribuições Principais e Resultados

O artigo valida o FAILURESCOPE através de três regimes distintos, demonstrando que o mesmo primitivo gera clusters estáveis e interpretáveis em cada um.

A. Benchmarks de Turno Único

• Dataset: 2.664 tarefas de 6 benchmarks (GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval) avaliadas em 18 modelos.
• Clustering: A configuração dominante comportamental ($\alpha=0.1$) produz 25 clusters estáveis com um silhouette score de 0.12. Crucialmente, 86,7% dos clusters abrangem múltiplos benchmarks, indicando que as assinaturas de falha transcendem as fronteiras de datasets específicos.
• Eficiência Diagnóstica: Sob LOMO, a amostragem condicionada à taxonomia alcança um Kendall's $\tau$ de 0.81 com 50 tarefas. Isso é significativamente superior à seleção aleatória ($\tau=0.34$) e à amostragem estratificada por benchmark ($\tau=0.64$).
• Predição: A predição de falha trans-modelo atinge um AUC de 0.88 usando uma abordagem de modelo vizinho mais próximo.

B. Diálogo de Múltiplos Turnos

• Dataset: 363 conversas de fronteira difíceis de 5 modelos de fronteira, cobrindo 11 eixos de habilidade e 7 profundidades conversacionais.
• Clustering: O método recupera 6 clusters com um alto silhouette de 0.92.
• Principais Descobertas:
  • Colapso de Contexto Profundo: Um grande cluster (162 tarefas, majoritariamente profundidade-6) onde todos os modelos falham universalmente, um padrão não visível na análise de turno único.
  • Resiliência Seletiva de Modelo: Um cluster (n=11) mostra o Claude Sonnet 4.6 falhando em ~70% enquanto outros modelos falham em 85–100%.
  • Candidato de Imunidade do DeepSeek: Um pequeno cluster (n=10) onde o DeepSeek tem sucesso enquanto as famílias GPT e Claude falham. Os autores tratam isso como um sinal gerador de hipóteses que requer replicação em maior escala.

C. Ataques de Agentes Adversariais

• Dataset: 630 traços de agentes de múltiplos turnos contra um sandbox de execução de código, envolvendo três famílias de ataques e três modelos de fronteira.
• Clustering: O método identifica 3 perfis comportamentais distintos:
  1. Falha Meta de Avaliação: Uma lacuna de 73–100 pontos percentuais entre as Taxas de Sucesso de Ataque (ASR) do LLM-judge e a ASR de execução de rede real em ataques de carga cognitiva. O cluster revela que o instrumento de avaliação (o juiz) é não confiável, não o modelo.
  2. Recusa Composicional Seletiva: O Claude Sonnet 4.6 exibe um perfil único onde recusa o payload malicioso no passo 2 (21/30 casos) apesar de passar pelo primeiro passo, enquanto o GPT-5.4 executa o ataque 92% das vezes.
  3. Conformidade Composicional: GPT-5.4 e GPT-5.4-mini mostram altas taxas de execução, formando um cluster de "comprometimento genuíno" distinto do cluster de falha do instrumento e do cluster de recusa.

4. Significância e Alegações

O artigo afirma que o agrupamento comportamental é um primitivo de diagnóstico portátil que se generaliza além de qualquer benchmark único.

• Portabilidade: O mesmo algoritmo de cinco etapas produz taxonomias estáveis e interpretáveis através dos regimes de turno único, múltiplos turnos e adversariais. Os autores enfatizam que, embora os scores de silhouette variem entre regimes (0.12, 0.92, 0.71) devido ao número de clusters e dimensões, a coerência qualitativa e a utilidade downstream (alto $\tau$ e AUC) permanecem consistentes.
• Eficiência: O método permite um diagnóstico estruturado eficiente. Profissionais podem avaliar um novo modelo em aproximadamente 50 tarefas condicionadas à taxonomia para recuperar um perfil de fraquezas com alta fidelidade ($\tau=0.81$), ou prever o perfil sem avaliação usando a predição trans-modelo (AUC 0.88).
• Descoberta de Padrões Ocultos: A abordagem revela modos de falha invisíveis à análise de benchmark único, como o colapso universal dependente de profundidade em diálogos de múltiplos turnos e a falta de confiabilidade de juízes LLM em contextos adversariais específicos.

5. Limitações e Escopo

Os autores mantêm uma postura modesta em relação às suas alegações:

• Extrapolação: A validação LOMO mantém-se para modelos dentro do mesmo intervalo de capacidade. Eles não afirmam que uma taxonomia construída em modelos de 7B–70B seria transferível para sistemas significativamente mais fortes (ex: classe GPT-5) sem ser reconstruída.
• Escassez de Dados: O método depende de imputação para dados de benchmark ausentes; dados de avaliação mais ricos provavelmente melhorariam o clustering.
• Subjetividade de Rotulagem: Os rótulos dos clusters são gerados por LLMs. Embora a estrutura seja robusta, rótulos específicos de modos de falha (ex: lacuna de raciocínio vs. conhecimento) podem ser ambíguos.
• Escopo: O corpus de turno único não cobre raciocínio multimodal ou tarefas de contexto longo, embora os estudos de caso de múltiplos turnos abordem essas lacunas com pools de modelos menores.

O artigo conclui liberando o pipeline, os três corpora anotados, as taxonomias trans-regime e os 1.203 tarefas adversariais geradas para facilitar pesquisas futuras em diagnóstico estruturado de modelos.