Resumo Técnico: Modelos de Decisão Auditáveis com Abstenção Aprendida e Direcionamento em Tempo Real

Formulação do Problema

Sistemas de IA em produção frequentemente encontram entradas caracterizadas por evidências incompletas, conflitantes ou insuficientes. Abordagens tradicionais frequentemente forçam esses casos ambíguos em rótulos de ação binários (por exemplo, SIM/NÃO), ocultando assim a incerteza, ou dependem de saídas generativas que carecem da estrutura necessária para decisões de execução auditáveis. O problema central abordado é a necessidade de uma interface de controle de decisão operacional onde a incerteza seja explicitamente roteável, governada por políticas e auditável, em vez de estar oculta dentro de previsões forçadas ou gerações em formato livre.

O artigo define um espaço de decisão limitado $Y_d = \{SIM, NÃO, ADEFINIR\}$.

• SIM: Suporte suficiente para uma ação.
• NÃO: Suporte suficiente para rejeição ou bloqueio.
• ADEFINIR: Incerteza insuficiente para ação direta ou rejeição, representando um resultado de deferimento aprendido.

Diferentemente dos modelos padrão de opção de rejeição onde a abstenção é um limiar aplicado post hoc a um classificador binário, este trabalho trata o deferimento (ADEFINIR) como uma classe supervisionada dentro do espaço de rótulos. Isso permite que o modelo internalize a estrutura semântica da ambiguidade durante o treinamento, em vez de tratar regiões de baixa confiança como uma zona uniforme de rejeição.

Metodologia

Arquitetura

O modelo proposto, EvaluatorDPT, utiliza um codificador transformer (BERT-base-uncased) com um comprimento máximo de sequência de 128 tokens. A arquitetura emprega um design multi-cabeça:

1. Cabeça de Decisão Primária: Prevê a distribuição limitada sobre $\{SIM, NÃO, ADEFINIR\}$.
2. Cabeças Auxiliares: Canais estruturados para valores (10 rótulos) e emoções/sentimentos (28 rótulos).
   • Nota: Para a avaliação específica relatada neste artigo, a cabeça de emoção está desativada. As afirmações empíricas restringem-se à cabeça de decisão, enquanto os canais auxiliares são apresentados como uma capacidade arquitetônica para controle de políticas futuras.

Treinamento e Dados

• Conjunto de Dados: Um corpus curado derivado de Inferência em Linguagem Natural (NLI) e materiais de estilo de postura (SNLI, MultiNLI, SemEval). O encadeamento mapeia para SIM, a contradição para NÃO e o neutro/evidência insuficiente para ADEFINIR.
• Refinamento de Fronteira: O modelo passa por uma época de refinamento direcionada usando um pequeno subconjunto (323 exemplos) extraído de erros diagnósticos anteriores. Este subconjunto foca em regiões semânticas difíceis, incluindo negação, contradição, armadilhas de sobreposição lexical, trocas de papel/número e declarações mitigadas/modais.
• Função de Perda: Perda ponderada (1,0 para decisão, 0,3 para valor, 0,3 para emoção) com suavização de rótulos (0,05).
• Configuração: Agendamento cosseno com aquecimento, camadas do codificador desbloqueadas 9–11 e uma taxa de aprendizado global de $5,0 \times 10^{-6}$.

Interface Operacional

O sistema separa a distribuição de decisão aprendida pelo modelo da política de implantação.

• Controle em Tempo de Inferência: Os operadores podem ajustar o comportamento de roteamento alterando os limiares operacionais registrados (por exemplo, aumentando a taxa de deferimento para fluxos de trabalho de alto risco) sem retreinar os pesos do modelo.
• Auditabilidade: A interface gera uma distribuição limitada, pontuações de confiança e sinais auxiliares estruturados. O pacote de avaliação inclui dados de calibração, varreduras de limiar, matrizes de confusão e comandos de reprodutibilidade para apoiar a revisão externa.

Principais Contribuições

1. Formulação de Deferimento Aprendido: Modelar o roteamento de decisão como uma saída tripla limitada onde ADEFINIR é um resultado supervisionado aprendido, permitindo que exemplos ambíguos moldem a representação durante o treinamento.
2. Separação entre Decisão e Política: O modelo emite uma distribuição, enquanto os limiares de implantação permanecem externos e inspecionáveis. Isso separa a representação da incerteza da escolha da tolerância ao risco.
3. Controle Auditável em Tempo de Inferência: Uma estrutura onde as políticas de roteamento (limiares, regras de fallback, uso de sinais auxiliares) são registradas como política operacional em vez de serem embutidas nos pesos do modelo, permitindo direcionamento em tempo real sem retreinamento.
4. Interface Agnóstica de Domínio: O espaço de saída é independente de domínios downstream específicos, permitindo que os mesmos rótulos limitados sejam aplicados a moderação, fluxos de trabalho de aprovação ou revisões de conformidade com calibração específica do domínio.
5. Avaliação Orientada à Auditoria: Uma estrutura de avaliação abrangente que inclui comportamento por classe, evidências de calibração (ECE), varreduras de limiar, verificações de estabilidade multi-semente e materiais de reprodutibilidade, indo além da simples acurácia agregada.

Resultados

Métricas de Desempenho

Na divisão de teste retida ($n=44.597$), o modelo alcança:

• Acurácia: 0,8260
• Macro F1: 0,8252
• F1 por Classe:
  • SIM: 0,8314
  • NÃO: 0,8486
  • ADEFINIR: 0,7956

Análise Comparativa

• Aprendido vs. Forçado: Colapsar o modelo para uma decisão binária SIM/NÃO (removendo ADEFINIR) faz com que o Macro F1 caia significativamente para 0,4945, demonstrando a necessidade da classe de deferimento aprendida.
• Limiarização: Aplicar limiares de rejeição a um classificador binário em 90% de cobertura resulta em Macro F1 mais alto (~0,863), mas exclui 10% dos casos. O modelo aprendido ADEFINIR mantém alto desempenho em todo o conjunto de cobertura total.
• Calibração: O modelo demonstra boa calibração com um Erro de Calibração Esperado (ECE) de 0,0338 no conjunto de validação.
• Impacto do Refinamento: A passagem de refinamento de fronteira não aumentou materialmente o Macro F1 bruto (pai: 0,8254 vs. refinado: 0,8252), mas reduziu o erro de calibração e as taxas de erro de alta confiança (por exemplo, erro de alta confiança no limiar 0,85 caiu de 0,0558 para 0,0485).

Análise de Erros

O principal erro residual envolve confusão entre casos verdadeiros de ADEFINIR e rótulos de ação direta (SIM/NÃO), particularmente casos de ADEFINIR classificados erroneamente como SIM. Isso destaca a dificuldade semântica de distinguir entradas ambíguas daquelas com evidências decisivas, uma região alvo pelo subconjunto de refinamento de fronteira.

Significado e Afirmações

O artigo afirma que o deferimento aprendido pode ser efetivamente avaliado como uma interface de controle de decisão auditável. O significado não reside em alcançar a automação máxima ou um novo backbone de modelo de linguagem, mas em fornecer um mecanismo de roteamento controlado sob ambiguidade.

Afirmações-chave incluem:

• Incerteza Explícita: A incerteza deve ser um resultado explícito e roteável (ADEFINIR) em vez de uma propriedade oculta de uma pontuação de confiança.
• Separabilidade de Políticas: A distribuição do modelo e a política de limiar de implantação podem ser examinadas e modificadas independentemente, apoiando governança e gerenciamento de riscos.
• Revisabilidade: A evidência de avaliação (calibração, estabilidade, matrizes de confusão) permite que revisores externos inspecionem o comportamento do sistema e reconstruam o processo de avaliação, um padrão que os autores argumentam ser necessário para sistemas de IA operacionais.

Os autores permanecem modestos quanto à generalização, observando que os resultados são específicos ao corpus avaliado e que a transferência de domínio requer validação, calibração e seleção de limiar separadas. Os canais auxiliares de valor e emoção são definidos como capacidades arquitetônicas, mas não são validados empiricamente nesta versão específica.