Whose Alignment? Comparing LLM Process Alignment Across Diverse Organizational Decision Contexts

Resumo Técnico: De Que Alinhamento? Comparando o Alinhamento de Processos de LLM em Contextos Diversos de Decisão Organizacional

1. Declaração do Problema

Os quadros atuais para alinhar sistemas de IA com organizações tipicamente tratam o alinhamento como um problema de alvo único focado no acordo de saída: garantir que o modelo alcance as mesmas conclusões que a organização. Os autores argumentam que essa formulação obscurece um desafio mais profundo e pluralista: o alinhamento de processos.

Organizações codificam políticas de decisão distintas que são frequentemente tácitas, historicamente contingentes e diferem sistematicamente entre instituições. Um LLM pode alcançar alta precisão de saída enquanto utiliza uma "política de utilização de pistas" fundamentalmente diferente (ponderando informações de maneira distinta) da organização. Essa divergência, denominada lacuna de conhecimento, representa riscos à legitimidade do processo, à generalização para casos novos e à confiabilidade em domínios regulamentados. Além disso, a pesquisa existente sobre alinhamento pluralista foca na pluralidade entre pessoas (agregando preferências individuais), mas negligencia em grande parte a pluralidade entre organizações, falhando em abordar quais normas institucionais um modelo deve adotar quando essas normas podem conflitar com padrões éticos ou legais contemporâneos.

2. Metodologia: O Modelo de Lente de Alinhamento Contextualizado (CALM)

Para medir o alinhamento de processos, os autores adaptam o Modelo de Lente de Brunswik (Brunswik, 1952; Hammond et al., 1964). Em vez de comparar saídas finais, o CALM estima e compara as políticas de ponderação de pistas de organizações e LLMs.

• Estimação de Políticas: Usando regressão logística regularizada por ridge em decisões observadas, os autores derivam vetores de coeficientes ($\beta$) que representam o peso atribuído a pistas específicas (características) tanto para o referencial organizacional quanto para cada LLM.
• Métrica de Alinhamento: O alinhamento é quantificado como a similaridade de cosseno entre o vetor de política da organização ($\beta_{org}$) e o vetor de política do LLM ($\beta_{LLM}$):
  $$\cos(\theta) = \frac{\beta_{org} \cdot \beta_{LLM}}{\|\beta_{org}\| \|\beta_{LLM}\|}$$
  Essa métrica é invariante à escala e limitada em $[-1, 1]$, onde 1,0 indica alinhamento perfeito.
• Condições Experimentais: O quadro testa três condições:
  1. Linha de Base: O modelo decide com base em um perfil de caso estruturado (revelando políticas implícitas de pré-treinamento).
  2. Externalização Organizacional: O modelo recebe a política explícita de ponderação de pistas da organização (derivada de dados históricos) como orientação antes da tomada de decisão.
  3. Externalização Introspectiva: O modelo é mostrado como sua política de linha de base diverge da da organização e instruído a se autocorrigir.

3. Contribuições e Resultados Principais

O artigo apresenta dois estudos empíricos para testar a relação entre alinhamento de processos e precisão de saída em diferentes domínios.

Estudo 1: Decisões do Artigo 6 da CEDH (Domínio Jurídico)

• Contexto: 1.000 decisões do Tribunal Europeu dos Direitos Humanos relativas a direitos a um julgamento justo.
• Descobertas:
  • Correlação Forte: O alinhamento de processos prevê fortemente a precisão de saída ($r = 0,85, p < .001$). Modelos que ponderam pistas de maneira semelhante ao tribunal alcançam maior precisão.
  • Externalização Eficaz: Fornecer explicitamente a política da organização ("externalização") melhora substancialmente o alinhamento para modelos mal alinhados (por exemplo, o GPT-5.4-nano melhorou em $\Delta = +0,906$).
  • Efeitos de Teto: Modelos já bem alinhados mostraram ganhos mínimos, sugerindo que a externalização é mais eficaz para fechar a lacuna de conhecimento em modelos desalinhados.

Estudo 2: Decisões de Crédito ao Consumidor Alemão (Domínio Financeiro)

• Contexto: 1.000 decisões históricas de crédito de um banco alemão (década de 1990), contendo pistas que agora são atributos protegidos sob a lei antidiscriminatória (por exemplo, sexo, idade, status de trabalhador estrangeiro).
• Descobertas:
  • Desacoplamento de Alinhamento e Precisão: A relação entre alinhamento de processos e precisão de saída colapsou ($r = 0,15, p = .60$). Modelos com pontuações de alinhamento de processos vastamente diferentes alcançaram taxas de precisão semelhantes (e uniformemente baixas) (44–54% versus um teto de 75,1%).
  • Intervenções Inconsistentes: A externalização produziu efeitos inconsistentes. Enquanto alguns modelos se deslocaram em direção à política, outros se afastaram ainda mais. Um modelo (Grok 4.1 Fast) exibiu "supercorreção degenerada", classificando 99,5% dos casos como risco "Bom" em resposta a feedbacks de taxa base, invertendo efetivamente sua política em vez de calibrá-la.
  • Tensão de Equidade: Modelos frequentemente resistiram a ponderar atributos protegidos (por exemplo, status de trabalhador estrangeiro) da mesma maneira que o referencial histórico, sugerindo um conflito entre o alinhamento de processos organizacionais e o alinhamento de segurança em nível de modelo.

4. Significado e Alegações

Os autores afirmam que a medição em nível de processo é um componente necessário de qualquer avaliação de alinhamento pluralista, particularmente em configurações organizacionais de alto risco. A tese central é que maior alinhamento não é incondicionalmente desejável; depende de se a política organizacional em si codifica valores legítimos.

• Função Dupla do CALM:
  • Ferramenta de Calibração: Em domínios com referências normativas estáveis e legítimas (por exemplo, CEDH), o CALM quantifica a divergência de políticas e orienta a externalização para fechar a lacuna.
  • Ferramenta de Auditoria: Em domínios com referências contestadas ou discriminatórias (por exemplo, Crédito Alemão), o CALM torna as políticas comportamentais legíveis, permitindo que as partes interessadas examinem se um modelo está reproduzindo fielmente a discriminação histórica ou resistindo a ela.
• O Problema da "Fidelidade": O artigo destaca que o acordo de saída não pode distinguir entre um modelo que internalizou uma política organizacional e um que meramente aproxima resultados. Além disso, há o risco de que o raciocínio declarado de um modelo (Cadeia de Pensamento) possa divergir de sua política comportamental real, tornando a medição comportamental via CALM essencial.
• Implicações de Governança: O trabalho argumenta que a governança de IA deve ir além das métricas de saída (precisão, paridade demográfica) para incluir a legitimidade do processo. As organizações devem especificar explicitamente qual versão de sua política de decisão serve como alvo de alinhamento, reconhecendo que práticas históricas podem conflitar com padrões éticos ou regulatórios atuais.

O artigo conclui que o alinhamento organizacional não é um único problema técnico, mas um desafio pluralista que exige medição empírica de quais normas institucionais estão sendo adotadas, qual política está sendo codificada e a partir de cuja perspectiva o alinhamento é avaliado.