Resumo Técnico: TriEval – Um Pipeline de Eficiência de Recursos para Avaliação de Viés, Toxicidade e Veracidade de LLMs

Declaração do Problema

A rápida adoção de Modelos de Linguagem de Grande Escala (LLMs) em setores críticos como saúde, educação e governo tornou necessária a implementação de frameworks de avaliação robustos para garantir segurança e equidade. No entanto, as ferramentas de avaliação existentes sofrem de limitações significativas:

1. Foco em Parâmetro Único: A maioria das ferramentas avalia apenas uma dimensão (ex: toxicidade ou veracidade) por vez, exigindo que pesquisadores executem múltiplas ferramentas díspares e correlacionem os resultados manualmente.
2. Barreiras Computacionais Elevadas: Frameworks abrangentes como o HELM exigem enormes clusters de GPU e um tempo de configuração extensivo, tornando-os inacessíveis para pesquisadores independentes ou aqueles sem financiamento institucional.
3. Problemas de Reprodutibilidade: A dependência de APIs externas (ex: Perspective API) para pontuação introduz variabilidade devido a mudanças de versão ou interrupções de serviço.
4. Escopo Limitado: Muitos benchmarks focam exclusivamente em modelos proprietários (ex: família GPT) ou falham em fornecer escrutínio de segurança multidimensional para modelos de código aberto.

Metodologia: O Pipeline TriEval

O TriEval foi projetado como um pipeline modular e eficiente de recursos que avalia as saídas de LLMs em três dimensões críticas simultaneamente: Viés, Toxicidade e Veracidade. O sistema é construído sobre três prioridades de design: Modularidade, Reprodutibilidade e Acessibilidade.

1. Arquitetura do Sistema

• Camada de Abstração de Modelo: O TriEval utiliza uma interface unificada para consultar modelos, roteando as requisições através da API do HuggingFace para modelos de código aberto e da API da Anthropic para modelos de código fechado. Isso garante condições de prompt idênticas em todos os modelos avaliados.
• Abordagem de Judge-LLM: Em vez de depender de APIs externas, o TriEval integra o Claude Haiku como um "juiz" interno para pontuar as respostas dos modelos. Este modelo avalia a toxicidade e o viés com base em rubricas estruturadas derivadas do XSTest e dos princípios da IA Constitucional. Este design mantém o pipeline autocontido e reprodutível.
• Acessibilidade: Todo o pipeline roda em hardware padrão (ex: nível gratuito do Google Colab) sem exigir um cluster de GPU. O custo total de API para os experimentos foi inferior a 2 USD.

2. Design Experimental

O estudo avaliou quatro modelos: três de código aberto (Meta Llama 3 8B, Mistral 7B, Google Gemma 2 9B) e um de código fechado (Anthropic Claude Haiku).

• Avaliação de Toxicidade:
  • Dataset: 30 prompts adversariais customizados abrangendo seis categorias de danos (insultos, humilhação corporal, ameaças, discurso de ódio, discriminação de idade, bullying), inspirados no ToxiGen.
  • Pontuação: As respostas foram pontuadas em uma escala de 0.0–1.0 (0.0 = inofensivo, 1.0 = tóxico). Recusas foram automaticamente atribuídas a uma pontuação baixa (0.05) para refletir um comportamento seguro.
• Avaliação de Veracidade:
  • Dataset: Um subconjunto de 60 perguntas do benchmark TruthfulQA, desenhado para desencadear alucinações confiantes.
  • Pontuação: Os modelos foram instruídos a fornecer respostas de letra única. A precisão foi calculada com base na correção da letra extraída.
• Avaliação de Viés:
  • Dataset: 30 pares de prompts seguindo a metodologia BiasAsker. Cada par diferenciava-se apenas por uma variável demográfica (gênero, raça, religião, idade, nacionalidade).
  • Pontuação: O juiz comparou as respostas lado a lado para detectar diferenças de sentimento ou profissionalismo.

Resultados Principais

1. Desempenho de Toxicidade

Todos os quatro modelos recusaram com sucesso cada prompt adversarial, demonstrando um forte alinhamento de segurança.

• Claude Haiku alcançou a menor pontuação média de toxicidade (0.050), caracterizada por recusas imediatas e firmes.
• Gemma 2 9B e Llama 3 8B empataram em 0.060.
• Mistral 7B pontuou ligeiramente mais alto (0.085) devido a recusas mais verbosas e apologéticas.
• Observação: A variação nas pontuações reflete diferenças no estilo de recusa e no ajuste de alinhamento, em vez da geração de conteúdo prejudicial.

2. Desempenho de Veracidade

• Gemma 2 9B emergiu como o líder com 83.3% de precisão, superando o modelo de código fechado Claude Haiku.
• Mistral 7B alcançou 63.3%, enquanto o Llama 3 8B pontuou 40.0%.
• Claude Haiku pontuou 0.0%. Isso não foi uma falha de conhecimento factual; o modelo forneceu consistentemente explicações completas em vez do formato de letra única solicitado, causando a falha na lógica de extração automatizada.
• Observação: Modelos de código aberto, particularmente o Gemma 2 9B, demonstraram precisão factual comparável ou superior a modelos proprietários quando as restrições de formato são atendidas.

3. Desempenho de Viés

• Todos os modelos pontuaram 0.0% na detecção de viés explícito em todas as cinco dimensões demográficas.
• Nuance: Embora nenhum viés explícito tenha sido sinalizado, estereótipos sutis foram observados. Por exemplo, o Llama 3 e o Mistral descreveram CEOs do sexo masculino com traços como "confiança" e "decisividade", enquanto descreveram CEOs do sexo feminino com "empatia" e "colaboração". O juiz não sinalizou isso como viés porque ambas as descrições eram positivas e profissionais, destacando a limitação do teste de prompts pareados na detecção de vieses implícitos e sutis.

4. Validação

As pontuações de veracidade do TriEval mostraram uma correlação de Pearson de 0.935 com as pontuações MC1 publicadas do TruthfulQA, validando a confiabilidade do pipeline apesar de usar um tamanho de amostra menor (60 perguntas vs. 817).

Significância e Contribuições

O artigo posiciona o TriEval como um passo significativo para a democratização da pesquisa de segurança de LLMs. Suas principais contribuições são:

1. Eficiência Multidimensional: É o primeiro pipeline a avaliar viés, toxicidade e veracidade simultaneamente em uma única execução, eliminando a necessidade de múltiplas ferramentas.
2. Acessibilidade de Recursos: Ao rodar em laptops padrão e níveis gratuitos de nuvem com custos mínimos de API, permite que pesquisadores sem grandes orçamentos de computação realizem avaliações de segurança rigorosas.
3. Benchmarking de Código Aberto: Fornece uma análise comparativa de modelos de código aberto (Llama, Mistral, Gemma) contra contrapartes de código fechado, revelando que modelos de código aberto podem liderar em precisão factual (Gemma 2 9B) e performar competitivamente em segurança.
4. Reprodutibilidade: O uso de um juiz-LLM interno e abstração de prompt padronizada garante resultados consistentes e verificáveis, independentes da volatilidade de APIs externas.

Os autores concluem que, embora nenhum modelo domine todas as dimensões, o Gemma 2 9B destaca-se como a opção de código aberto mais forte para aplicações que priorizam a precisão factual sem dependências de APIs externas. O artigo reconhece limitações, incluindo o pequeno tamanho do conjunto de prompts e a incapacidade dos métodos atuais de detectar vieses implícitos ou interseccionais, preparando o terreno para trabalhos futuros em testes multilíngues e integração de red-teaming.