Resumo Técnico: Governança a partir de Métricas e o Framework govllm

1. Declaração do Problema

As abordagens atuais para conformidade de IA tratam a conformidade como um veredito binário no momento da auditoria, em vez de uma propriedade contínua e mensurável dos sistemas de produção. Essa "ficção de conformidade" é estruturalmente inadequada aos requisitos do Regulamento de Inteligência Artificial da UE, que exige supervisão humana contínua e a detecção de desvios comportamentais emergentes em sistemas implantados. Avaliações estáticas (por exemplo, documentação escrita uma única vez, auditorias periódicas) falham em capturar a natureza dinâmica da IA agênica e generativa, onde o comportamento evolui com o contexto, padrões de uso e atualizações de modelos. Além disso, os frameworks de governança existentes frequentemente carecem de ferramentas operacionais para monitorar a conformidade em tempo de execução, enquanto os frameworks de avaliação existentes são otimizados para latência e custo, em vez de geração de sinais regulatórios.

Existe uma tensão estrutural crítica: em ambientes regulamentados com requisitos de soberania de dados (por exemplo, Artigo 44 do GDPR), o roteamento da avaliação de conformidade através de APIs externas pode, em si, violar as obrigações que estão sendo avaliadas. Consequentemente, a avaliação on-premise é uma necessidade regulatória, não meramente uma preferência de design.

2. Metodologia: Governança a partir de Métricas

O artigo introduz a Governança a partir de Métricas, um princípio que afirma que a conformidade regulatória deve ser tratada como um sinal contínuo derivado da observabilidade de produção, e não como um veredito de auditoria estático. Para operacionalizar isso, os autores apresentam o govllm, um framework de tempo de execução open-source e on-premise.

Componentes Arquiteturais Principais

• Perfis de Governança: Um conjunto ordenado de critérios de conformidade (por exemplo, transparência, privacidade de dados, não manipulação) associados a pesos e limites mínimos. Esses perfis mapeiam obrigações legais para métricas técnicas mensuráveis.
• Perfil como Júri: Em vez de um único juiz monolítico, o sistema emprega um painel de juízes especializados em LLM. Cada critério regulatório é atribuído a um juiz LLM específico (por exemplo, um papel de oficial de proteção de dados mapeado para um modelo específico). Esse design impõe a separação entre gerador e avaliador para prevenir viés de auto-preferência.
• Pipeline de Avaliação em Tempo de Execução:
  • Módulo de Chat: Roteia prompts de usuários para modelos ativos e dispara avaliação assíncrona por juízes.
  • Observabilidade: Agrega latência, taxas de erro e dados de rastreamento (via Langfuse).
  • Serviço de Avaliação: Orquestra a inferência de juízes usando modelos de linguagem pequenos (SLMs) executados localmente via Ollama.
  • Gerenciamento de Ciclo de Vida: Implementa um ciclo de qualificação de quatro zonas (Teste → Gate Humano → Produção → Quarentena). Modelos são automaticamente colocados em quarentena se suas pontuações de conformidade degradarem abaixo de limites configuráveis.
• Roteamento Baseado em Trajetória: Diferente do roteamento padrão baseado em desempenho instantâneo (latência/custo), o govllm incorpora o histórico de pontuação. Ele pode rotear para modelos com trajetórias de conformidade em melhoria, mesmo que sua pontuação atual seja inferior à de um modelo em declínio.

Protocolo de Avaliação de Juízes

Os autores validaram o framework usando um corpus de verdade fundamental de 49 pares prompt/resposta anotados em cinco critérios regulatórios (Transparência, Supervisão Humana, Privacidade de Dados, Não Manipulação, Injeção de Prompt). Estes foram avaliados por quatro SLMs (phi4-mini, mistral:7b, gemma3:4b, qwen3:1.7b) executados totalmente on-premise. A avaliação testou três condições de ordem de perguntas (original, invertida, permutada) para medir viés de posição e modos de falha estruturais.

3. Contribuições Principais

Teóricas e Arquiteturais

1. Governança a partir de Métricas: Formaliza a conformidade como um sinal contínuo derivado da observabilidade de produção.
2. Perfil como Júri: Propõe a transposição computacional de painéis de especialistas humanos, onde LLMs especializados avaliam papéis regulatórios específicos.
3. Ciclo de Vida de Qualificação Governado: Implementa um pipeline de teste-gate humano-produção-quarentena alinhado ao Artigo 9 (gestão contínua de riscos) e Artigo 14 (supervisão humana) do Regulamento de IA.
4. Gate de Conformidade: Um mecanismo de política como código que exclui automaticamente modelos que falham em pontuações de limite mínimo para critérios específicos do roteamento.

Empíricas e Diagnósticas

5. Variância Inter-Juiz como Sinal: Reenquadra a discordância entre juízes não como ruído a ser suprimido, mas como um sinal de incerteza regulatória que justifica arbitragem humana.
6. Detecção de Incoerência Intra-Juiz: Identifica e formaliza três modos de falha estrutural em pequenos juízes regulatórios que são observáveis sem verdade fundamental:
   • Viés de Verdade: Um padrão sistemático de default para "conforme" (verdadeiro) independentemente de violações.
   • Dissociação Raciocínio/Saída: Produzir um motivo que identifica uma violação enquanto simultaneamente retorna uma pontuação de conformidade.
   • Sensibilidade à Arquitetura de Prompt: Alta sensibilidade à ordem das perguntas e formato de saída (por exemplo, viés de escolha forçada).
7. Avaliação de Validade Baseada em Checklist: Introduz um protocolo de checklist binário ancorado em fontes jurisprudenciais (CNIL, ANSSI, Regulamento de IA da UE) para medir a validade do juiz independentemente da confiabilidade.

4. Resultados Experimentais

O estudo avaliou quatro SLMs (1,7B–7B parâmetros) em 49 casos através de três ordenações de perguntas.

• Desempenho do Modelo: Nenhum modelo único dominou em todos os critérios. O phi4-mini (3,8B) alcançou a maior concordância global (69,1% na ordem original), superando o maior mistral:7b (51,5%). No entanto, a robustez do phi4-mini foi condicional; degradou-se significativamente (−25 pontos percentuais) no critério data_privacy sob ordenação de perguntas permutada.
• Especialização: Um painel especializado (Perfil como júri), atribuindo cada critério ao seu juiz mais válido, superou o melhor juiz único em +3,5 pontos percentuais (72,6% vs. 69,1%) e a linha de base em +10,9 pontos.
• Viés de Posição: O viés de posição foi encontrado como uma propriedade estrutural de pequenos juízes, degradando a concordância em até 25 pontos percentuais sob permutação da ordem das perguntas. O mistral:7b não mostrou sensibilidade à ordem, mas permaneceu o menos preciso no geral.
• Modos de Falha:
  • O gemma3:4b exibiu baixa consistência de razão (69,1%), com razões frequentemente ambíguas ou contraditórias às pontuações.
  • O mistral:7b exibiu um padrão "eloquente mas errado": alta consistência interna (92,7%) mas baixa concordância com a verdade fundamental (51,5%).
  • O qwen3:1.7b mostrou forte sensibilidade à posição e calibração dependente de contexto.
• Contagem de Parâmetros: A contagem de parâmetros foi um mau proxy para a pontuação de governança (correlação de Pearson r = −0,39), sugerindo que a calibração específica de domínio importa mais do que a capacidade bruta na avaliação regulatória.

5. Significado e Alegações

O artigo afirma que o monitoramento significativo de conformidade regulatória é alcançável usando modelos pequenos e locais, desde que:

1. Os juízes sejam especializados por critério, em vez de depender de um único modelo generalista.
2. Os juízes sejam avaliados quanto à validade (precisão contra verdade fundamental) e não apenas confiabilidade (consistência).
3. A arquitetura de governança trate a incerteza do juiz (variância inter-juiz) como um sinal regulatório para escalonamento humano, em vez de um defeito a ser médio.

Os autores posicionam o govllm como um passo concreto, reproduzível e soberano para operacionalizar os requisitos de monitoramento contínuo do Regulamento de IA da UE, particularmente para sistemas de alto risco onde auditorias estáticas são insuficientes. O framework aborda a "ficção de conformidade" ao mudar de declarações pontuais para sinais contínuos e observáveis derivados de interações reais de produção, mantendo ao mesmo tempo a soberania de dados através da execução totalmente on-premise.

O artigo permanece modesto em suas alegações, observando que o corpus de verdade fundamental é preliminar, a significância estatística é limitada pelo tamanho da amostra e os sinais de conformidade do framework são estimativas estatísticas, e não determinações legais. Trabalhos futuros são identificados como necessários para validação empírica em larga escala do roteamento baseado em trajetória e da medição de discriminação epistêmica entre famílias de modelos.