Resumo Técnico: O Hiato de Avaliabilidade da IA

Declaração do Problema

Organizações que implantam IA em escala enfrentam um desafio duplo: gerenciar o risco da IA (determinar se um sistema é seguro, justo, confiável e complacente o suficiente para operar) e sustentar o valor da IA (determinar se um sistema justifica a continuidade da alocação de recursos). As práticas atuais de governança frequentemente falham porque tratam esses como problemas distintos com proprietários e vocabulários diferentes, ou focam em propriedades do sistema em vez das evidências necessárias para tomar decisões sobre elas.

O artigo identifica uma condição subjacente fundamental denominada Hiato de Avaliabilidade da IA: o estado em que as organizações carecem de evidências suficientes para apoiar decisões de governança de alta confiança, seja em relação ao risco ou ao valor. Este hiato leva a dois modos de falha:

1. Sobre-implantação: Aceitar riscos não mensurados devido à insuficiência de evidências de segurança.
2. Subinvestimento: Renunciar a valores não mensurados devido à insuficiência de evidências de benefício.

Os autores argumentam que os frameworks atuais sofrem de um "erro de categoria", tratando a governança como sinônimo de gestão de risco e assumindo que a suficiência de evidências é um dado, em vez de um objeto primário da governança. Além disso, as práticas existentes frequentemente falham ao não considerar a não-estacionariedade dos sistemas de IA, onde a evidência decai rapidamente devido à adaptação do usuário, retreinamento de modelos e mudanças nos ambientes.

Metodologia e Framework

O artigo propõe a Avaliabilidade como um novo framework teórico para abordar este hiato. Em vez de prescrever métricas específicas ou métodos estatísticos, a Avaliabilidade define as condições de evidência sob as quais as decisões de governança se tornam defensáveis.

Definição Central

Avaliabilidade é definida como a capacidade de um sistema de gerar, manter e renovar evidências suficientes para apoiar decisões de governança de alta confiança sobre sua operação e alocação de recursos ao longo do tempo.

Formalmente, a Avaliabilidade é uma função de seis propriedades do fluxo de evidências de um sistema de IA:
$$\text{Avaliabilidade} = f(O, A, I, V, C, T)$$
Onde:

• Observabilidade (O): Os resultados relevantes para a decisão podem ser observados? (ex: logs, telemetria, resultados de negócios).
• Atribuibilidade (A): A contribuição da IA pode ser isolada de confundidores? (Requer design causal ou quase-experimental).
• Intervenbilidade (I): O sistema pode ser modificado para testar afirmações e responder a falhas? (ex: rollback, testes A/B).
• Verificabilidade (V): Uma parte independente pode auditar e reproduzir a análise?
• Calibração (C): Os níveis de confiança declarados correspondem às frequências observadas de correção?
• Validade Temporal (T): A evidência permanece relevante conforme o ambiente e o sistema evoluem?

Formulação Centrada na Decisão

O framework desloca o foco da medição de propriedades do sistema para a avaliação da confiança em uma decisão ($D$) dado um corpo de evidência ($E$).

• Confiança ($Conf(D|E)$): Um estado epistêmico em relação à suficiência da evidência, não uma probabilidade de um estado do mundo.
• Regra de Decisão: Uma ação $D$ é justificada se, e somente se, $Conf(D|E) > \tau(D)$, onde $\tau$ é um limiar determinado pela materialidade da decisão e pela assimetria do erro.
• O Hiato: O Hiato de Avaliabilidade existe quando $Conf(D|E) < \tau(D)$.

Duas Classes de Certificação

O framework distingue entre dois tipos de decisões de governança, cada uma exigindo diferentes estruturas de evidência:

1. Certificação Operacional: Determina se um sistema pode operar. Baseia-se em evidência estrutural (verificação, testes de estresse, avaliação adversária) para estabelecer a ausência de modos de falha. O padrão de evidência é tipicamente alto.
2. Certificação de Investimento: Determina se um sistema merece recursos contínuos. Baseia-se em evidência causal (raciocínio contrafactual, rollouts randomizados) para estabelecer a geração de valor. O padrão de evidência escala com a materialidade do gasto.

O Ciclo de Avaliabilidade

As seis propriedades não são um checklist estático, mas um ciclo contínuo:

1. Observabilidade captura o que aconteceu.
2. Atribuibilidade vincula os resultados à IA.
3. Verificabilidade permite a confiança independente.
4. Calibração garante que as declarações de confiança sejam confiáveis.
5. Validade Temporal avalia se a evidência ainda é atual.
6. Intervenbilidade permite a ação (testes, retreinamento) quando a incerteza surge, gerando novas observações para reiniciar o ciclo.

O framework enfatiza que a evidência é perecível. Na ausência de renovação, a confiança decai ao longo do tempo ($Conf(D|E(t)) \to Conf(D|\emptyset)$), exigindo a re-certificação contínua em vez de aprovação única.

Camada Institucional

Para evitar a captura epistêmica, o framework propõe um modelo institucional distribuído:

• Produtores de Evidência: Equipes de engenharia e dados gerando logs e resultados.
• Verificadores de Evidência: Funções de risco, auditoria e finanças validando integridade e calibração.
• Adjudicadores de Evidência: Conselhos ou comitês definindo limiares e resolvendo conflitos entre certificações.

Principais Contribuições

O artigo apresenta três contribuições principais:

1. Unificação dos Objetos de Governança: Identifica a suficiência de evidência como o objeto unificador entre os domínios de governança, formalizando-a através da função $Conf(D|E)$. Argumenta que a governança não trata de medir propriedades (segurança, valor) diretamente, mas de determinar se a evidência suficiente existe para tomar decisões sobre essas propriedades.
2. Certificação Operacional vs. de Investimento: Introduz uma distinção estrutural entre decisões operacionais e de investimento. Isso esclarece a confusão em relação ao "valor" nas taxonomias de governança, permitindo que as organizações afirmem coerentemente que um sistema é operacionalmente seguro, mas não digno de investimento (ou vice-versa), resolvendo assim a paralisia da governança.
3. Elevação da Validade Temporal e da Calibração: Eleva a validade temporal e a calibração de preocupações periféricas para propriedades de primeira classe. O artigo argumenta que a governança de IA atual é rica em monitoramento, mas pobre em calibração, levando a "decisões confiantes cuja própria confiança é injustificada".

Resultados e Alegações

O artigo não apresenta resultados experimentais empíricos, pois é um framework teórico. Seus "resultados" são proposições lógicas e argumentos estruturais:

• Proposição 3.1 (Não-Identificabilidade da Governança): Dois sistemas de IA com resultados observados indistinguíveis podem exigir decisões de governança diferentes porque a confiança garantida por seus fluxos de evidência difere. A governança não pode ser inferida apenas dos resultados; ela depende da estrutura e proveniência da evidência.
• A Necessidade das Seis Propriedades: Um sistema pode ser preciso ou lucrativo, mas ainda assim falhar no teste de Avaliabilidade se a evidência de suporte for unverificável, não calibrada ou obsoleta.
• O Decaimento da Evidência: O artigo afirma que, na IA, a evidência decai rapidamente devido à não-estacionariedade, emergência de capacidades e adaptação humana. Portanto, a governança deve ser um processo contínuo de re-certificação vinculado a taxas de decaimento estimadas empiricamente, não a convenções de calendário.

Significância e Escopo

Os autores posicionam a Avaliabilidade como um substrato para os frameworks de governança existentes (como NIST RMF, ISO/IEC 42001 e casos de garantia) em vez de um substituto.

• O que é: Um framework para determinar se existe evidência suficiente para apoiar decisões de alta confiança. Fornece os padrões arquitetônicos para a geração e validação de evidências.
• O que não é: Não determina se um sistema é de fato seguro, justo, confiável ou valioso. Não substitui modelos de risco específicos de domínio, métricas de equidade ou calculadoras de ROI. Não prescreve métodos estatísticos específicos para inferência causal ou representação de confiança (permitindo abordagens Bayesianas, Frequentistas ou de Dempster-Shafer).

O artigo conclui que, à medida que os sistemas de IA se tornam mais dinâmicos e autônomos, a capacidade de gerar, manter e renovar evidências (Avaliabilidade) pode se tornar tão crítica quanto os próprios modelos subjacentes. O framework visa fechar o hiato entre a complexidade dos sistemas modernos de IA e a suficiência da evidência necessária para governá-los de forma responsável.