Scaling, Lock-In, and Proxy Compliance: A Political Economy of Responsible AI

Resumo Técnico: Escala, Aprisionamento (Lock-In) e Conformidade por Procuração (Proxy Compliance)

Definição do Problema
O artigo aborda um enigma central na IA Responsável: a coexistência persistente de conformidade visível (ex: model cards, avaliações padronizadas, documentação) e uma mitigação de danos substantiva inadequada. Embora estruturas como o EU AI Act imponham extensas obrigações de documentação, danos recorrentes e lacunas de responsabilidade sugerem que as organizações podem racionalmente escolher a "conformidade por procuração" (proxy compliance) — produzindo sinais observáveis de responsabilidade enquanto subinvestem na redução real de riscos — o que caracteriza o fenômeno de gerar sinais de responsabilidade enquanto se subinveste na redução real de riscos. Os autores argumentam que isso não é meramente uma falha das estruturas éticas, mas um resultado estrutural de parâmetros institucionais: especificamente, a interação entre a geração de evidências controlada pelo fornecedor, os custos de mudança do implantador (lock-in) e os mecanismos de fiscalização que dependem de evidências verificáveis.

Metodologia
Os autores desenvolvem um jogo de economia política sequencial envolvendo três agentes: um fornecedor de IA, um implantador (deployer) e um regulador. O modelo é estático e de fornecedor único, tratando escala e concentração de mercado como o pano de fundo institucional, em vez de variáveis endógenas.

• Cronologia:

  1. O fornecedor escolhe auditabilidade ($t$) e mitigação substantiva ($e$).
  2. O implantador observa essas escolhas, decide sobre a adoção e, se adotado, escolhe um nível de monitoramento ($m$). A adoção incorre em custos de mudança ($s$), representando o aprisionamento (lock-in).
  3. O dano ($h$) é realizado. A evidência é gerada com probabilidade $p(t, m)$, que depende tanto da auditabilidade quanto do monitoramento.
  4. A fiscalização ocorre se uma evidência acionável for encontrada.

• Mecanismos Chave:

  • Auditabilidade ($t$): Ajuda a satisfazer os pisos de aquisição, mas também aumenta a probabilidade de detecção.
  • Mitigação ($e$): Reduz diretamente a probabilidade de dano.
  • Aprisionamento ($s$): Reduz o recurso efetivo do implantador ($\delta_{eff}$), enfraquecendo o incentivo para monitorar.
  • Fiscalização: Depende de evidências verificáveis. O fornecedor enfrenta penalidades proporcionais à probabilidade de detecção ($p + \Delta$), onde $\Delta$ representa a capacidade de auditoria independente.

• Conceito de Equilíbrio: Os autores resolvem para o equilíbrio de subjogo perfeito onde o fornecedor antecipa a resposta de monitoramento do implantador. O implantador monitora apenas se o benefício esperado de recurso (redução da exposição ao dano) superar o custo do monitoramento, um cálculo fortemente influenciado pelos custos de mudança.

Principais Contribuições

1. Formalização da Conformidade por Procuração: O artigo define "conformidade por procuração" como um equilíbrio onde o fornecedor atende ao piso mínimo observável de aquisição ($t^* = \bar{t}$), mas escolhe a mitigação ($e^*$) estritamente abaixo do primeiro melhor social ($e_{FB}$). Isso ocorre quando altos custos de mudança amortecem o monitoramento do implantador, o que, por sua vez, reduz o incentelo de fiscalização do fornecedor, diminuindo o incentivo para mitigação substantiva.
2. Monitoramento Endógeno: Ao contrário de modelos onde o monitoramento é exógeno, este framework permite que o fornecedor antecipe como suas escolhas de mitigação afetam a intensidade de monitoramento do implantador. Maior mitigação reduz o dano residual, o que pode, paradoxalmente, reduzir o incentivo do implantador para monitorar, criando um ciclo de retroalimentação.
3. Análise de Alavancas de Políticas: Os autores derivam as estáticas comparativas para quatro alavancas institucionais distintas: direitos de auditoria independente, portabilidade (redução de custos de mudança), relatórios de incidentes e responsabilidade vinculada a resultados.

Resultos
A análise produz um equilíbrio interior único e caracteriza as condições para mitigação total (a solução de canto onde o dano é eliminado).

• Proposição 4.4 (Existência de Conformidade por Procuração): Na ausência de detecção independente forte ($\Delta = 0$) e com custos de mudança suficientemente altos ($s$), o equilíbrio converge para a conformidade por procuração. À medida que $s \to \infty$, $m^* \to 0$, e $e^*$ cai para um nível determinado apenas pelo piso de auditabilidade base, frequentemente muito abaixo do ótimo social.
• Proposição 4.5 (Responsabilidade/Accountability): Aumentar a detecção independente ($\Delta$) ou reduzir os custos de mudança ($s$) eleva a mitigação de equilíbrio. No entanto, o efeito de $\Delta$ é atenuado pela resposta de monitoramento (conforme a mitigação aumenta, o monitoramento cai), embora nunca reverta o efeito positivo de $\Delta$.
• Teorema 5.1 (Direitos de Auditoria): Direitos de auditoria independente ($\Delta$) suficientemente fortes podem eliminar a conformidade por procuração e alcançar a mitigação total ($e^* = e_{FB}$) independentemente do nível de aprisionamento ($s$). Esta é a alavanca única mais poderosa no modelo.
• Proposição 5.2 (Portabilidade): Reduzir os custos de mudança aumenta a mitigação ao restaurar o poder de barganha e o incentivo do implantador para monitorar.
• Proposição 5.3 (Relato de Incidentes): O relato obrigatório cria um canal de evidência independente ($\mu\rho$) que substitui o acesso controlado pelo fornecedor, elevando a mitigação mesmo que a auditabilidade permaneça baixa.
• Proposição 5.4 (Responsabilidade Vinculada a Resultados): A responsabilidade ligada diretamente ao dano realizado ($\lambda_{OFO}$) aumenta a mitigação independentemente da probabilidade de detecção ($p(t, m)$), proporcionando um incentivo robusto quando a verificação é fraca.

Significância e Alegações
O artigo afirma fornecer uma explicação institucional tratável para o porquê de "conformidade visível e mitigação limitada poderem coexistir como escolhas racionais". Argumenta-se que a lacuna entre os sinais de responsabilidade observáveis e a redução de danos não é necessariamente uma falha de implementação, mas um resultado de equilíbrio impulsionado por:

1. Controle do fornecedor sobre a evidência: Quando os fornecedores controlam a infraestrutura para gerar evidências verificáveis (ex: acesso à API, logs), eles podem limitar a auditabilidade.
2. Aprisionamento (Lock-in): Altos custos de mudança enfraquecem a capacidade do implantador de agir como um mecanismo de disciplina.
3. Fiscalização dependente de evidência: Quando as penalidades dependem de evidências detectadas em vez de resultados, os fornecedores têm o incentivo de minimizar a transparência se o custo marginal da auditabilidade exceder o aumento marginal nas penalidades esperadas.

Os autores enfatizam que seu modelo é um referencial (benchmark), não uma alegação de que qualquer instrumento de governança isolado seja suficiente. Eles alertam que a independência da auditoria, a cobertura de relatórios e sanções críveis são pré-requisitos para que esses mecanismos funcionem. O artigo conclui que a responsabilidade exige tanto verificabilidade (acesso independente a evidências) quanto poder de agir (recurso crível para os implantadores), sugerindo que a conformidade procedimental (documentação) sem esses suportes estruturais provavelmente resultará em conformidade por procuração persistente.