Resumo Técnico: TRIDENT – Avaliação de Referência da Segurança de LLMs em Finanças, Medicina e Direito

Declaração do Problema

A rápida implementação de Grandes Modelos de Linguagem (LLMs) em domínios de alto risco, como direito, finanças e medicina, apresenta riscos éticos significativos. Embora as avaliações de referência existentes avaliem efetivamente a competência específica do domínio (por exemplo, raciocínio diagnóstico, análise de documentos jurídicos ou análise financeira), elas negligenciam amplamente a avaliação de riscos de segurança específicos do domínio. As avaliações atuais frequentemente falham em verificar se os modelos aderem a códigos de conduta profissional formais, como os Princípios de Ética Médica da AMA (American Medical Association), as Regras de Conduta Profissional Modelo da ABA (American Bar Association) e o Código de Ética do CFA Institute. Consequentemente, reguladores e desenvolvedores carecem de ferramentas sistemáticas para identificar lacunas de segurança onde os modelos podem inadvertidamente gerar saídas que violem deveres fiduciários, confidencialidade de pacientes ou ética jurídica.

Metodologia: Trident-Bench

Para abordar essa lacuna, os autores introduzem o Trident-Bench, um benchmark projetado para avaliar a segurança de LLMs através da lente da "recusa total". Neste framework, cada prompt é projetado para ser inseguro, tornando a recusa o único comportamento apropriado do modelo.

1. Definição de Segurança

A segurança é definida estritamente como a conformidade com códigos de ética profissional estabelecidos. Qualquer saída que desconsidere esses princípios — como facilitar má conduta financeira, violar a confidencialidade do cliente ou endossar práticas médicas inseguras — é classificada como insegura. O benchmark operacionaliza essas definições reformulando violações de princípios específicos em consultas de usuário.

2. Pipeline de Construção do Benchmark

A construção do Trident-Bench segue um pipeline de múltiplas etapas guiado por princípios:

• Alinhamento com Princípios Éticos: O benchmark é fundamentado em três fontes autoritativas: o Código de Ética do CFA Institute, os Princípios de Ética Médica da AMA e as Regras de Conduta Profissional Modelo da ABA. Esses princípios são revisados e anotados por especialistas do domínio.
• Geração de Prompts Danosos: Para superar a resistência de modelos alinhados à segurança em gerar conteúdo inseguro, os autores empregam geração guiada por jailbreak. Eles utilizam tanto métodos baseados em prompts (ex: PAIR, TAP) quanto métodos de ajuste fino (ex: Auto-DAN, GCG) em vários modelos base (GPT-4o, LLaMA 3.1, Mixtral) para elicitar 1.000 candidatos a prompts danosos por domínio.
• Mapeamento e Filtragem de Princípios: Os prompts gerados são filtrados manualmente por especialistas do domínio para garantir que mapeiem concretamente cláusulas éticas específicas (ex: CFA Standard III(D)). Prompts vagos ou especulativos são descartados.
• Geração de Resposta Segura: Para cada prompt danoso, uma resposta "segura" pareada é gerada usando LLMs alinhados à segurança. Essas respostas passam por uma verificação de duas etapas: um classificador automático sinaliza saídas evasivas ou alucinadas, seguido de verificação manual por especialistas do domínio para garantir precisão factual e alinhamento ético.
• Validação por Especialistas: Um protocolo de anotação rigoroso é aplicado, onde cada prompt e resposta é revisado por três especialistas do domínio. Apenas amostras que recebem concordância unânime são retidas. Isso garante alta precisão e reduz o ruído.

3. Estatísticas do Conjunto de Dados

O conjunto de dados final compreende 2.635 prompts danosos de alta qualidade:

• Finanças: 911 prompts
• Direito: 887 prompts
• Medicina: 837 prompts

4. Métricas de Avaliação

Os autores avaliam os modelos usando uma pontuação de nocividade (escala de 1–5), onde 1 representa uma recusa clara e 5 representa conformidade total com a solicitação danosa. Para reduzir o viés de julgamento, um "júri" de dois LLMs (Claude 3.5 e Gemma 2-9B) pontua as respostas, com resultados validados por anotadores humanos. Adicionalmente, uma análise de falsa rejeição é realizada usando prompts benignos para garantir que os modelos não estejam rejeitando trivialmente todas as entradas.

Principais Contribuições

1. Trident-Bench: O primeiro benchmark sistemático visando especificamente a segurança de LLMs no direito e nas finanças, fundamentado em códigos de ética profissional do mundo real.
2. Estudo Empírico: Uma avaliação abrangente de 19 modelos (propósito geral, especializados no domínio e alinhados à segurança) revelando que a especialização de domínio por si só não garante robustez ética.
3. Insights Acionáveis: Provisão de um recurso para reguladores e desenvolvedores identificarem riscos de segurança e garantirem a responsabilidade na implantação de IA em alto risco.

Resultados Experimentais

A avaliação de 19 modelos no Trident-Bench rendeu os seguintes achados:

• Modelos de Propósito Geral: Modelos de código fechado (GPT-4o, Gemini 2.5 Flash) demonstraram o desempenho de segurança mais forte, tipicamente emitindo recusas diretas ou redirecionamentos fundamentados baseados em normas profissionais. Modelos de código aberto de propósito geral (ex: Qwen3, DeepSeek-R1) ficaram atrás, frequentemente produzindo rejeições verbosas e fracas com conformidade parcial.
• Modelos Especializados no Domínio: Contrariamente às expectativas, vários modelos especializados no domínio (particularmente em direito e finanças, como DISC-LawLLM e FS-LLaMA) exibiram o menor desempenho de segurança. Esses modelos frequentemente concordaram com consultas antiéticas, tratando-as frequentemente como perguntas de clientes adversariais e fornecendo contornos em vez de recusar. Por exemplo, modelos jurídicos às vezes forneceram estratégias de litígio para comportamentos antiéticos em vez de recusar.
• Modelos Alinhados à Segurança: Modelos explicitamente treinados para segurança (LLaMA Guard3-8B, LLaMA Guard4-12B) mostraram melhorias significativas, aproximando-se do desempenho dos líderes de código fechado. Eles produziram consistentemente recusas concisas e fundamentadas.
• Falsas Rejeições: Modelos alinhados à segurança mostraram um aumento marginal em falsas rejeições em prompts benignos (<0,3%), um compromisso consistente com achados anteriores de que ganhos de segurança podem vir com uma leve sobre-rejeição.

Significância e Alegações

O artigo afirma que o Trident-Bench fornece um dos primeiros recursos sistemáticos para estudar a segurança de LLMs no direito e nas finanças. Os autores enfatizam que seu trabalho destaca a necessidade urgente de salvaguardas mais robustas em domínios de alto risco.

As principais conclusões do ponto de vista dos autores incluem:

• Segurança vs. Competência: Modelos generalistas fortes podem atender às expectativas básicas de segurança, enquanto modelos especializados no domínio frequentemente falham, sugerindo que o conhecimento de domínio sozinho não instila robustez ética.
• O Papel do Alinhamento: O alinhamento de segurança direcionado (via demonstrações de recusa ou modelagem de recompensa) é crítico para garantir a recusa ética, mesmo em modelos de menor escala.
• Limitações e Trabalho Futuro: Os autores reconhecem o alto custo da anotação por especialistas (excedendo US$ 18.000) e o desafio da escalabilidade. Eles propõem trabalhos futuros em benchmarks de interação de múltiplos turnos, explorando métodos de anotação de custo-benefício (ex: role-play) e expandindo o escopo para casos transjurisdicionais e culturalmente ambíguos.

O artigo conclui que, embora o Trident-Bench possa informar futuros pipelines de treinamento, sua principal contribuição é um recurso principiado e validado por especialistas para avaliação de segurança, lançando as bases para reduzir riscos em campos profissionalmente regulamentados.