Resumo Técnico: Escapando da Armadilha do Acordo

1. Declaração do Problema: A Armadilha do Acordo

Sistemas automatizados de moderação de conteúdo são tradicionalmente avaliados usando métricas baseadas em acordo (por exemplo, pontuação F1) contra rótulos humanos. Os autores argumentam que essa abordagem falha em ambientes regidos por regras, onde múltiplas decisões podem ser logicamente consistentes com a política governante. Nessas "áreas cinzentas", moderadores humanos resolvem ambiguidades usando contexto, precedentes e normas interpretativas, criando rótulos que refletem um caminho de resolução específico, em vez da estrutura de regras subjacente.

Quando um modelo aprende com esses rótulos, ele reproduz o caminho interpretativo. Consequentemente, métricas baseadas em acordo penalizam decisões válidas e fundamentadas na política que divergem do rótulo humano específico, confundindo três modos de falha distintos:

1. Erro do Modelo: O modelo viola as regras.
2. Divergência do Moderador: O modelo e o humano escolheram caminhos válidos diferentes.
3. Ambiguidade da Política: As próprias regras são subespecificadas.

Os autores denominam esse fenômeno de Armadilha do Acordo. Isso leva a uma caracterização sistemática incorreta da adesão às regras como erro, particularmente quando o conjunto de resultados defensáveis pela política é de valor conjunto (contendo mais de um elemento).

2. Metodologia: A Estrutura de Defensibilidade

Para abordar isso, o artigo formaliza a avaliação como correção fundamentada na política, deslocando o foco do acordo com rótulos históricos para a derivabilidade lógica sob uma hierarquia de regras explícita.

2.1 Formalização e Métricas

A estrutura avalia uma decisão proposta $\hat{y}$ (por exemplo, REMOVER ou APROVAR) contra o conteúdo $C$, uma hierarquia de regras $R$ (global da plataforma $R_G$ e específica da comunidade $R_C$), e um corpus de precedentes $P$. Uma decisão é defensável se existir uma derivação lógica válida de $(C, R, P)$ para $\hat{y}$.

As decisões são classificadas em três níveis:

• L1 (Robustamente Defensável): Uma regra explícita autoriza direta e inequivocamente a decisão.
• L2 (Plausivelmente Defensável): As regras são genuinamente ambíguas, mas a decisão é razoavelmente suportada.
• L3 (Indefensável): Nenhuma regra explícita autoriza a decisão, ou o raciocínio invoca conceitos ausentes no conjunto de regras.

Duas métricas principais são introduzidas:

• Índice de Defensibilidade (DI): A fração de decisões que são L1 ou L2. Meta: $\ge 0,90$.
• Índice de Ambiguidade (AI): A fração de decisões onde um "verificador inverso" (verificando se a decisão oposta também é derivável) é acionado. Meta: $\le 0,15$. O AI é decomposto em subespecificação de nível de plataforma ($A_{IG}$) e de nível de comunidade ($A_{IC}$).

2.2 Implementação da Auditoria

A estrutura emprega uma auditoria estruturada usando um Modelo de Auditoria ($M_a$). Diferente das abordagens padrão de "LLM como juiz" que avaliam qualidade subjetiva, $M_a$ atua como um motor de raciocínio restrito. Ele recebe o conteúdo, regras, precedentes e a decisão proposta, e então gera um rastro de raciocínio em JSON:

1. Cadeia Lógica: Passos de inferência.
2. Citação de Política ($\kappa$): Referência explícita à regra (comprometida antes do veredito).
3. Peso do Precedente ($\omega$): Importância de casos passados.
4. Verificação Inversa ($\iota$): Se a decisão oposta também é derivável.
5. Nível de Defensibilidade ($\xi$): L1, L2 ou L3.

Essa ordem garante que a classificação seja fundamentada em uma referência de governança explícita, impedindo que o modelo racionalize uma saída pré-determinada.

2.3 Sinal Probabilístico de Defensibilidade (PDS)

Para estimar a estabilidade do raciocínio sem passagens de auditoria adicionais, os autores introduzem o PDS, derivado dos log-probabilidades de tokens do modelo de auditoria. O PDS extrai um vetor de três componentes de uma única passagem direta:

1. $\lambda_\xi$ (Confiança Logarítmica do Rótulo): Log-probabilidade do nível final de defensibilidade.
2. $H[\kappa]$ (Entropia do Span de Citação): Entropia de Shannon sobre os tokens de citação da política. Alta entropia indica incerteza na seleção da regra.
3. $\sigma(\rho)$ (Log-odds da Verificação Inversa): Log-odds do acionamento da verificação inversa. Valores altos indicam que o modelo não tem certeza se a decisão é indefensável.

Esses componentes são combinados em um escalar $S$ via calibração. A estrutura hipotetiza que a variância no PDS é impulsionada principalmente pela ambiguidade de governança e não por ruído de decodificação.

3. Contribuições Principais

1. Formalização da Correção Fundamentada na Política: Introdução do DI e AI para separar decisões defensáveis pela política das indefensáveis, indo além das métricas de acordo.
2. Sinal Probabilístico de Defensibilidade (PDS): Um sinal de estabilidade de custo zero extraído dos log-probs do modelo de auditoria que correlaciona com instabilidade de raciocínio.
3. Portão de Governança: Um mecanismo de implantação operacional que restringe a aplicação automatizada a coortes que satisfazem limites específicos de DI e AI, permitindo cobertura de automação principista com redução de risco.

4. Resultados Empíricos

A estrutura foi validada em mais de 193.000 decisões de moderação do Reddit em múltiplas comunidades, auditadas contra regras globais da plataforma e específicas de cada comunidade.

4.1 A Lacuna Acordo-Defensibilidade

• Divergência de Métricas: Há uma lacuna de 33–46,6 pontos percentuais entre as pontuações F1 baseadas em acordo e o Índice de Defensibilidade.
• Análise de Falsos Negativos: 79,8–80,6% dos "falsos negativos" do modelo (discordâncias com rótulos humanos) eram na verdade decisões fundamentadas na política (L1 ou L2). Isso confirma a Armadilha do Acordo: métricas padrão penalizam a adesão válida às regras quando elas divergem de interpretações humanas específicas.
• Causa Raiz: Apenas 19,4% das discordâncias foram erros reais do modelo (L3); o restante foi aplicação de normas implícitas ou ambiguidade da política.

4.2 PDS e Estabilidade

• Alinhamento Humano: O PDS correlaciona-se fortemente com classificações humanas de defensibilidade ($\rho = 0,66, p < 10^{-4}$).
• Detecção de Ambiguidade: Os log-odds da verificação inversa ($\sigma(\rho)$) são 63% maiores em casos de discordância do que em casos de acordo.
• Análise de Estabilidade: Amostragem repetida (1.000 réplicas) mostra que a variância do PDS é impulsionada pela ambiguidade de governança, não por ruído de amostragem. A razão de instabilidade entre casos "invertidos" e "estáveis" permanece plana (~1,6x) através de um aumento de dez vezes na temperatura, apoiando a hipótese de ambiguidade de governança.

4.3 Experimento de Subespecificação Normativa

Auditar 37.286 decisões sob três níveis de especificidade de regras (Apenas Título, Barra Lateral, Wiki) no r/AskReddit revelou:

• Redução do AI: Adicionar detalhes de regras reduziu o Índice de Ambiguidade em 10,8 pontos percentuais (de 18,2% para 7,4%).
• Estabilidade do DI: O Índice de Defensibilidade permaneceu estável (~97-98%), indicando que as decisões eram defensáveis independentemente do detalhe da regra; o que mudou foi a incerteza sobre sua defensibilidade.
• Mecanismo: Regras vagas criam principalmente decisões ambíguas (L2) em vez de indefensáveis (L3).

4.4 Desempenho do Portão de Governança

Um Portão de Governança configurado com DI $\ge$ 0,90 e AI $\le$ 0,15 alcançou:

• 78,6% de Cobertura de Automação em toda a frota.
• 64,9% de Redução de Risco (reduzindo a taxa de decisões indefensáveis de 5,66% para 2,72% na parte automatizada).
• O limite de AI foi identificado como a restrição vinculativa, significando que a seletividade é determinada pela ambiguidade da política e não pela validade do raciocínio.

4.5 Robustez Adversarial

Em um "Benchmark de Fundamentação Espúria" (1.000 casos incluindo ataques adversariais):

• Detecção: O sistema detectou 93,5% dos ataques de inversão de ação e 70,1% dos ataques de fundamentação alucinada.
• Superfície de Escape: 29,9% dos ataques escaparam, especificamente aqueles explorando a "penumbra da política" (regras de conteúdo subjetivas). Crucialmente, as regras vulneráveis a esses ataques eram as mesmas identificadas pelo Índice de Ambiguidade como necessitando de esclarecimento, fornecendo corroborção independente da capacidade diagnóstica da estrutura.

5. Significado e Alegações

O artigo alega que a avaliação em ambientes regidos por regras deve mudar do acordo com rótulos históricos para a validade fundamentada no raciocínio sob regras explícitas.

• Reenquadramento da Ambiguidade: A estrutura trata a ambiguidade da política não como uma deficiência, mas como um recurso de design deliberado (Subespecificação Normativa) que preserva o julgamento humano. As métricas quantificam essa elasticidade para permitir automação segura onde a defensibilidade é alta.
• LLM como Auditor de Raciocínio: O trabalho estende o paradigma de "LLM como juiz" da avaliação subjetiva de qualidade para verificação lógica fundamentada em regras. Ao tratar as regras como a fonte externa de verdade e o modelo de auditoria como um motor de raciocínio restrito, o sistema operacionaliza a consistência das regras.
• Implantação Prática: O Portão de Governança fornece um mecanismo principista para escalar a automação enquanto preserva a auditabilidade, demonstrando que rastros de raciocínio de LLM (especificamente distribuições de log-probabilidade) podem servir como sinais de incerteza calibrados para governança.

Os autores concluem que a convergência do Índice de Ambiguidade, a variância do PDS e as superfícies de escape adversarial apontam para um único fenômeno subjacente: subespecificação normativa. A estrutura fornece a infraestrutura para identificar e gerenciar essa subespecificação em vez de tratá-la como erro do modelo.