Resumo Técnico: Validação de Pontuação Comparativa de Segurança de LLMs sem Rótulos de Verdade Terrena

1. Formulação do Problema

O artigo aborda uma lacuna crítica na implantação de Modelos de Linguagem de Grande Escala (LLMs): a necessidade de comparar modelos candidatos quanto à segurança em idiomas, setores ou regimes regulatórios específicos onde não existe um benchmark de segurança anotado com verdade terrena.

Em muitos cenários de implantação (por exemplo, uma agência do setor público norueguês testando um modelo local), as equipes devem decidir qual modelo é mais seguro sob restrições específicas sem acesso a conjuntos de dados rotulados. Os paradigmas existentes falham em abordar plenamente isso:

• Benchmarks Estáticos: Requerem rótulos de verdade terrena, são frequentemente centrados no inglês e congelam a avaliação no momento do lançamento.
• Auditoria Orientada à Descoberta: (por exemplo, red-teaming automatizado) gera transcrições e hipóteses, mas carece de um mecanismo de pontuação comprometido e repetível com quantificação de incerteza adequado para licitações.
• LLM como Juiz: Embora comparações em pares sejam mais confiáveis do que pontuações absolutas, elas herdam vieses e instabilidade. Sem uma cadeia de validação, as pontuações não podem ser defendidas como evidência de diferenças de segurança, em vez de artefatos do aparato de auditoria.

Os autores definem esse espaço como pontuação comparativa de segurança sem benchmark. O desafio central é produzir evidências comparativas defensáveis (pontuações, deltas, taxas críticas) sem rótulos de verdade terrena, garantindo que o instrumento responda ao comportamento-alvo e não a ruídos ou artefatos do auditor/juiz.

2. Metodologia: A Cadeia de Validade Instrumental

Para validar um instrumento de pontuação na ausência de verdade terrena, os autores propõem uma cadeia de validade instrumental. Esta cadeia substitui o acordo com a verdade terrena por três requisitos específicos:

1. Responsividade: A ferramenta deve distinguir entre um contraste conhecido relevante para a segurança. Os autores utilizam um contraste seguro-vs-ablacionado (comparando um modelo alinhado à segurança com uma variante de capacidade correspondente onde o comportamento de recusa foi ablacionado via direção de recusa).
2. Sensibilidade ao Alvo (Dominância da Variância): A variância nas pontuações deve ser impulsionada principalmente pelo modelo-alvo, e não por artefatos do auditor (sonda) ou juiz (avaliador). Isso é quantificado via decomposição da variância ($\eta^2$).
3. Reprodutibilidade: As pontuações devem estabilizar-se em múltiplas repetições ($n$) para garantir que os deltas entre os alvos não sejam obscurecidos por ruído estocástico.

A Implementação SimpleAudit

Os autores instanciam essa cadeia no SimpleAudit, uma biblioteca Python e instrumento de medição com foco local.

• Arquitetura: Separa três papéis independentes: Alvo (T), Auditor (A) e Juiz (J).
• Fluxo de Trabalho: Um pacote de cenários inicializa uma conversa; o Auditor gera sondas; o Alvo responde; o Juiz avalia a transcrição com um veredito estruturado (gravidade 0–4).
• Pontuação: Os rótulos de gravidade são remapeados para uma escala de 0–100. O instrumento reporta pontuações agregadas, deltas correspondentes ($\Delta$), taxas críticas (frequência de falhas graves) e intervalos de incerteza.
• Compromissos de Design: Execução local (sem dependência de API externa para dados sensíveis), modularidade de papéis, configuração explícita e pacotes de cenários versionados.

3. Contribuições Principais

O artigo apresenta seis contribuições principais:

1. Definição de Categoria: Identifica a "pontuação comparativa de segurança sem benchmark" como uma categoria de avaliação distinta com seu próprio contrato de reivindicação.
2. Estrutura de Validação: Especifica a cadeia de validade instrumental (responsividade, sensibilidade ao alvo, reprodutibilidade) necessária para validar tais ferramentas.
3. Implementação de Referência: Introduz o SimpleAudit, uma ferramenta que empacota cenários fixos, rubricas e papéis em um instrumento repetível.
4. Validação Empírica: Valida o SimpleAudit em um pacote de segurança norueguês, demonstrando que ele atende a todos os três requisitos da cadeia.
5. Verificação de Generalização: Aplica a mesma cadeia de validação ao Petri (uma ferramenta de auditoria orientada à descoberta), mostrando que a cadeia admite o Petri também, desde que dimensões específicas sejam selecionadas.
6. Evidência de Implantação: Demonstra a aplicação desta estrutura em um caso de licitação do setor público norueguês comparando Borealis e Gemma 3.

4. Resultados Principais

Validação do SimpleAudit

• Responsividade: O SimpleAudit separa com sucesso alvos seguros e ablacionados. Em combinações confiáveis de juiz-auditor, os valores de AUROC variam de 0,89 a 1,00.
• Sensibilidade ao Alvo: A decomposição da variância mostra que o modelo-alvo é o fator dominante ($\eta^2 \approx 0,52$), enquanto as contribuições do auditor e do juiz são substanciais, mas secundárias. Isso confirma que as pontuações refletem o comportamento do alvo e não artefatos do aparato.
• Reprodutibilidade: As pontuações estabilizam-se rapidamente. Em 10 repetições, o desvio absoluto médio em relação à pontuação de referência cai para aproximadamente 1 ponto em uma escala de 0–100, bem abaixo dos deltas que orientam decisões de licitação.
• Insights de Configuração:
  • Seleção do Auditor: O auditor é o ponto de design mais crítico. Um auditor muito forte (por exemplo, modelos de fronteira) comprime as pontuações de alvos seguros, apagando os deltas comparativos que o instrumento deve reportar. O auditor deve corresponder à faixa de capacidade do alvo.
  • Seleção do Juiz: Embora as pontuações absolutas variem conforme o juiz, os deltas em pares permanecem estáveis. Juízes com uma taxa de falha crítica próxima a 10% (relativa a uma referência de fronteira) são viáveis para governança.
  • Eficiência de Custos: Definir a capacidade do Juiz igual à do Auditor ($J=A$) é o padrão recomendado, economizando tokens sem sacrificar o sinal comparativo.

Comparação com Petri

• A cadeia de validação admite também o Petri. Especificamente, a dimensão "preocupante" no Petri passa por todos os três requisitos (AUROC $\ge$ 0,99, dominância do alvo, estabilidade).
• No entanto, as ferramentas diferem em seus contratos de reivindicação a montante. O SimpleAudit impõe um único pacote de cenários comprometido e uma regra de agregação, tornando-o operacionalmente adequado para licitações. O Petri oferece flexibilidade para descoberta, mas exige que o usuário se comprometa com construtos e regras de agregação para gerar pontuações comparáveis.

Estudo de Caso de Licitação Norueguês

• A comparação entre Borealis e Gemma 3 em vários tamanhos (1B–27B) revelou que "mais seguro" não é uma propriedade monolítica.
• O Borealis geralmente apresentou pontuações mais altas e taxas críticas mais baixas, mas a vantagem foi dependente da categoria (por exemplo, forte em Saúde e Setor Público, mais fraco em Linguagem).
• Escalonamento: As melhorias de segurança estabilizaram-se em 12B para algumas categorias, contradizendo uma regra simples de "maior é mais seguro".
• Conclusão: A evidência apoia uma visão matizada: o modelo mais seguro depende da categoria do cenário e da medida de risco específica (pontuação média vs. taxa crítica).

5. Significado e Reivindicações

O artigo afirma que a pontuação comparativa de segurança sem benchmark é uma categoria de avaliação distinta, não uma forma degradada de benchmarking. Seu significado reside em:

• Operacionalização da Segurança para Domínios Regulados: Oferece um método para equipes em ambientes regulados (por exemplo, setor público, idiomas não ingleses) gerar evidências comparativas defensáveis sem esperar por benchmarks rotulados.
• Mudança de Classificação para Evidência: Os autores argumentam contra o colapso dos resultados em um único ranking. Em vez disso, evidência válida de implantação consiste em um conjunto: pontuações, deltas correspondentes, taxas críticas, intervalos de incerteza e verificações de sensibilidade, todos vinculados a uma configuração específica de instrumento.
• Falsificabilidade: Ao declarar explicitamente o "contrato de reivindicação" (instrumento fixo, pacote de cenários, papéis), a avaliação torna-se falseável. Outros grupos podem reexecutar o mesmo instrumento ou trocar componentes para contestar os resultados.
• Governança com Foco Local: O design garante que prompts, transcrições e políticas não precisem deixar o ambiente de implantação, abordando preocupações de soberania de dados e privacidade em setores regulados.

Os autores são modestos em suas reivindicações: passar pela cadeia de validade instrumental é necessário, mas não suficiente para implantação. Prova que o instrumento funciona como ferramenta de medição, mas especialistas do domínio ainda devem julgar se o pacote de cenários captura o construto real de implantação. A contribuição é a categoria e a cadeia de validação, com o SimpleAudit servindo como uma implementação paliativa para o nicho de licitações.