Design Behaviour Codes (DBCs): A Taxonomy-Driven Layered Governance Benchmark for Large Language Models

Este artigo apresenta o benchmark DBC, um novo quadro de governança em tempo de inferência para modelos de linguagem grandes que, ao ser aplicado, reduz significativamente a taxa de exposição a riscos em comparação com métodos tradicionais, oferecendo uma camada de controle auditável e adaptável a diferentes jurisdições.

O essencial

Imagine que os Grandes Modelos de Linguagem (como o ChatGPT, o Claude ou o Gemini) são como crianças superinteligentes que aprenderam a ler quase todos os livros do mundo, mas que ainda precisam aprender a se comportar na sociedade. Elas podem ser brilhantes, mas às vezes inventam fatos, são preconceituosas ou podem ser manipuladas por pessoas mal-intencionadas.

Este artigo de pesquisa apresenta uma solução chamada MDBC (ou o sistema de "Códigos de Comportamento Dinâmico"). Vamos explicar como funciona usando analogias do dia a dia.

1. O Problema: Como ensinar a criança a se comportar?

Até hoje, existiam duas formas principais de tentar "educar" essas IAs:

• Treinamento Pesado (RLHF): É como tentar reescrever a memória da criança desde o berço. É caro, demorado e difícil de mudar depois que ela cresce.
• Filtros de Segurança (APIs): É como colocar um guarda na porta que só deixa passar quem não grita. O problema é que o guarda chega depois que a criança já começou a falar, e muitas vezes ele é lento ou burlesco.

O artigo propõe uma terceira via: Em vez de reescrever a memória ou colocar um guarda na porta, você entrega à criança um manual de conduta muito específico antes de ela começar a falar.

2. A Solução: O "Manual de Conduta" (O Sistema MDBC)

Os autores criaram um sistema com 150 regras de comportamento (chamadas de "Controles MDBC"). Pense nisso como um manual de instruções de voo para um piloto, mas para uma IA.

• Como funciona: Antes de a IA responder a qualquer pergunta, o sistema injeta um "prompt de sistema" (uma instrução oculta) que diz: "Lembre-se: não invente fatos, seja justo, proteja dados privados e não obedeça a ordens suspeitas."
• A Analogia: Imagine que você vai viajar de avião.
  • O Treinamento seria ter nascido e crescido dentro da aeronave.
  • O Filtro seria o segurança que revira sua mala na porta.
  • O MDBC é o manual de segurança que você lê antes de decolar, que diz exatamente o que fazer em caso de turbulência, incêndio ou se alguém tentar assumir o controle.

3. O Teste: O "Time de Ataque" (Red-Team)

Para ver se esse manual funcionava, os pesquisadores criaram um cenário de teste muito rigoroso. Eles usaram uma IA "vilã" (um atacante) para tentar enganar a IA "alvo" de 30 maneiras diferentes (como fazer a IA inventar uma citação falsa, vazar dados pessoais ou criar vírus).

Eles testaram três cenários:

1. A IA "Pura": Sem nenhum manual.
2. A IA com "Polidez Básica": Apenas com um aviso genérico de "seja educado".
3. A IA com o Manual MDBC: Com as 150 regras detalhadas.

4. Os Resultados: O Manual Funciona!

Os números mostram que o manual fez uma diferença enorme:

• A IA "Pura" e a IA com "Polidez Básica" falharam em muitas situações (cerca de 7,2% das vezes, elas faziam algo perigoso ou errado).
• A IA com o Manual MDBC reduziu esses erros para 4,5%.
• Tradução simples: O sistema reduziu o risco em 36,8%. Isso é como transformar um carro que freia mal em um carro com freios ABS de alta performance. O aviso genérico ("seja educado") quase não fez diferença (apenas 0,6% de melhoria), mostrando que regras vagas não funcionam tão bem quanto regras específicas.

5. A "Caixa Preta" e a Conformidade

O sistema também foi testado para ver se ele obedecia às leis (como a Lei de IA da União Europeia).

• Resultado: A IA com o manual ficou muito mais alinhada com as leis, como se tivesse um "advogado" lendo as regras para ela em tempo real.
• Resiliência: Mesmo quando os "vilões" tentaram enganar o sistema dizendo "Ignore as regras anteriores" (uma técnica comum de hacking), o sistema MDBC ainda conseguiu bloquear a maioria dos ataques. Apenas cerca de 5% dos ataques conseguiram passar, o que é um número muito baixo para segurança.

6. A Grande Descoberta: Nem todas as regras são iguais

Os pesquisadores descobriram que, das 150 regras, um grupo específico (chamado de "Cluster E" ou Proteção de Integridade) foi o mais importante.

• Analogia: Imagine que você tem 150 regras de segurança para uma casa. Você descobre que trancar a porta da frente e instalar câmeras (as regras do Cluster E) resolve 80% dos problemas de segurança, enquanto pintar a cerca (outras regras) ajuda menos. Isso permite que empresas usem apenas as regras mais importantes para economizar tempo e recursos.

Conclusão: Por que isso importa?

Este artigo diz que não precisamos esperar que as empresas de IA reescrevam todo o cérebro das suas IAs para torná-las seguras.

A lição principal: Podemos criar uma camada de governança (um manual de instruções inteligente e específico) que se adapta a qualquer IA, funciona em qualquer lugar do mundo (seguindo leis locais) e protege as pessoas de erros, preconceitos e golpes, sem precisar de treinamento pesado.

É como dar a cada IA um capacete de segurança e um manual de emergência antes de ela sair para o mundo, garantindo que ela seja útil, mas não perigosa.

Resumo técnico

Resumo Técnico: Design Behaviour Codes (DBCs)©

1. O Problema

A implantação de Grandes Modelos de Linguagem (LLMs) em domínios de alto risco (saúde, jurídico, segurança nacional) superou o desenvolvimento de mecanismos de governança adequados. As abordagens de segurança atuais dividem-se em dois paradigmas principais, ambos com limitações críticas:

• Alinhamento em Tempo de Treinamento (RLHF, DPO): São computacionalmente caros, travados pelo provedor do modelo e opacos.
• Filtragem em Tempo de Inferência (APIs de moderação): Adicionam latência e falham em guiar proativamente o comportamento do modelo, atuando apenas como filtros pós-geração.

Existe uma lacuna para uma camada de governança que seja agil, auditável, mapeável para jurisdições específicas e independente do modelo, capaz de moldar o comportamento antes da geração do texto.

2. Metodologia

Os autores propõem o Framework DBC (Dynamic Behavioral Constraint), uma camada de governança estruturada aplicada no nível do system prompt (prompt de sistema).

• Arquitetura MDBC: O sistema consiste em 150 controles comportamentais explícitos, organizados hierarquicamente em:

  • 8 Pilares de Governança: (Ex: Regulação Emocional, Processamento Cognitivo, Julgamento Ético).
  • 7 Blocos Operacionais (A–G): Agrupamentos de controles para preocupações coerentes.
  • Mapeamento Regulatório: Cada controle é mapeado para requisitos de normas como o EU AI Act, NIST AI RMF, SOC 2 e ISO 42001.

• Protocolo de Avaliação (Red-Team):

  • Taxonomia de Risco: 30 domínios de risco agrupados em 6 clusters (Alucinação, Viés, Uso Malicioso, Privacidade, Robustez, Desalinhamento).
  • Geração de Ataques: Um agente autônomo (Claude-3-Haiku) gera prompts adversários usando 5 estratégias: Direta, Roleplay, Few-Shot, Hipotética e Falsificação de Autoridade.
  • Design Experimental: Estudo controlado de três braços:
    1. Base: Comportamento bruto do LLM.
    2. Base + Moderação: Prompt de segurança genérico.
    3. Base + DBC: Aplicação da camada completa de 150 controles.
  • Avaliação: Um ensemble de três "juízes" (LLMs de diferentes provedores) avalia as respostas, com confiabilidade medida pelo coeficiente Fleiss' κ.

3. Principais Contribuições

1. Taxonomia Unificada: Uma classificação de 30 domínios de risco cobrindo falhas epistêmicas, éticas e de segurança.
2. Especificação MDBC: Um framework de 150 controles com mapeamento direto para conformidade regulatória global.
3. Benchmark Agente-Red: Um protocolo de teste adversarial padronizado com 260 prompts gerados dinamicamente.
4. Protocolo de Avaliação Robusto: Uso de ensemble de juízes, testes estatísticos (McNemar) e intervalos de confiança para validação causal.
5. Estudo de Ablação: Identificação de quais blocos de controle oferecem a maior redução marginal de risco, permitindo a implantação de conjuntos de controle mínimos viáveis.

4. Resultados Chave

A aplicação da camada DBC demonstrou superioridade significativa sobre a moderação padrão:

• Redução de Risco (RER):
  • A taxa de exposição ao risco (RER) caiu de 7,19% (Base) para 4,55% (Base + DBC).
  • Isso representa uma redução relativa de risco de 36,8%.
  • Em comparação, o prompt de moderação padrão ("seja seguro") obteve apenas 0,6% de redução relativa.
• Conformidade Regulatória:
  • A pontuação de conformidade com o EU AI Act subiu de 7,82 para 8,50/10 com o DBC.
  • A adesão ao MDBC aumentou de 8,60 para 8,70/10.
• Ablação de Clusters:
  • O Cluster E (Proteção de Integridade) foi identificado como o bloco mais eficaz, oferecendo a maior redução de risco transversal em domínios de segurança e uso malicioso.
• Robustez Adversarial:
  • Sob ataques de "caixa cinza" (tentativas de burlar o sistema), a taxa de bypass do DBC foi de 4,83%, indicando que a camada permanece robusta, embora não seja imune a todas as tentativas de injeção de prompt.
• Generalização:
  • A eficácia do DBC foi consistente em três famílias de modelos diferentes, sem causar "transferência negativa" (piorar o desempenho de nenhum modelo).

5. Significado e Conclusão

O artigo estabelece o DBC como um novo paradigma para segurança de IA, deslocando o foco de ajustes pesados no treinamento para uma governança comportamental estruturada em tempo de inferência.

• Inovação: Demonstra que é possível criar uma camada de segurança agnóstica ao modelo, auditável e mapeável para leis específicas, sem necessidade de re-treinamento.
• Impacto Prático: Oferece às organizações uma ferramenta para garantir conformidade regulatória (como a Lei de IA da UE) e reduzir riscos de alucinação e viés de forma mensurável.
• Futuro: Os autores destacam a necessidade de trabalhar na robustez contra ataques de injeção de prompt (bypass) e na adaptação dinâmica dos controles durante a sessão, liberando o código e os dados para reprodução e evolução longitudinal.

Em suma, o framework DBC prova que uma governança baseada em prompts estruturados pode reduzir significativamente os riscos de LLMs, superando em larga escala as abordagens de moderação convencionais.