💰 quantitative finance

Governing Agentic AI in FinTech

Este artigo argumenta que a principal restrição de governança para a IA agêntica em FinTech não é a capacidade, mas sim a verificabilidade, introduzindo o "Hiato de Verificabilidade" e demonstrando, por meio de estudos empíricos, que os sistemas atuais carecem da reprodutibilidade e da explicabilidade necessárias para uma delegação defensável de decisões financeiras consequentes.

Autores originais: Henry Han

Publicado 2026-08-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Henry Han

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma nave espacial, mas em vez de pilotar a nave você mesmo, você contratou uma tripulação robótica brilhante e superveloz para lidar com a navegação. Você diz a eles: "Levem-nos ao planeta vermelho", e eles partem em disparada, verificando mapas, calculando combustível e acionando propulsores sem pedir sua permissão a cada passo. Este é o mundo da IA Agêntica: inteligência artificial que não apenas conversa ou escreve poemas, mas que realmente faz coisas, como aprovar empréstimos, comprar ações ou gerenciar dinheiro. Por muito tempo, cientistas e banqueiros se preocuparam com o problema da "caixa preta" — significando que o robô toma uma decisão, mas ninguém sabe por que ou como ele a tomou. A solução usual era apenas rodar o cérebro do robô repetidamente para ver se ele dava a mesma resposta. Mas aqui está a reviravolta: e se o cérebro do robô mudar toda vez que você olha para ele? E se o robô esquecer seus próprios passos, ou se as ferramentas que ele usa para navegar forem substituídas pela empresa que o construiu? Este artigo faz uma pergunta assustadora, porém necessária: Se um robô tomar uma grande decisão financeira hoje, podemos provar exatamente como ela aconteceu amanhã, ou as evidências terão evaporado no ar?

O artigo, intitulado "Governing Agentic AI in FinTech" de Henry Han, mergulha fundo neste mistério. O autor argumenta que o maior problema não é se esses agentes de IA são inteligentes o suficiente para tomar decisões, mas se podemos verificá-los. Ele introduz um conceito chamado Lacuna de Verificabilidade. Pense nisso da seguinte forma: Você dá a um robô um milhão de dólares para investir. Ele faz uma operação. Mais tarde, um auditor pergunta: "Mostre-me os recibos". Se o robô não puder mostrar a trilha digital exata de como ele fez aquela operação, ou se os "recibos" que ele mostra são diferentes dos que ele realmente usou, há uma lacuna entre o que você pediu para ele fazer e o que você pode provar que ele fez. O artigo sugere que, à medida que permitimos que agentes de IA assumam mais controle, essa lacuna está aumentando, e podemos estar voando às cegas.

Para descobrir isso, o pesquisador realizou três diferentes "experimentos de laboratório" usando cenários financeiros como aprovações de empréstimos e negociação de ações. Aqui está o que ele descobriu, e é um pouco de uma reviravolta no enredo.

Primeiro, ele testou o que acontece quando o "cérebro" da IA recebe uma atualização. Ele usou um modelo de IA poderoso e executou os mesmos 32 casos financeiros ao longo de 185 dias. Mesmo que as instruções fossem idênticas, as decisões da IA começaram a derivar. Nas atualizações posteriores, a IA tornou-se mais conservadora, mudando de ideia em 5 dos 32 casos. Mas o verdadeiro choque? A empresa que construiu a IA também removeu os "botões" que permitem aos usuários controlar como a IA pensa. Eles removeram a capacidade de definir uma "semente aleatória" (um número que torna as escolhas da IA repetíveis). É como se o capitão robô de repente mudasse o motor da nave e depois trancasse a porta da sala de controle, dizendo: "Você não pode mais tocar nos botões". O estudo descobriu que, mesmo com os controles mais rígidos possíveis, uma versão local da IA poderia repetir suas próprias ações perfeitamente (320 de 320 vezes), mas uma versão comercial hospedada não poderia (319 de 320, e 959 de 960). A IA estava tomando decisões defensáveis, mas o banco não conseguia provar exatamente como ela o fez porque as ferramentas para reproduzir a decisão haviam sumido.

Segundo, o artigo analisou o que acontece quando você adiciona mais robôs à equipe. Imagine um robô fazendo o trabalho versus uma equipe de 50 robôs passando notas uns para os outros. O pesquisador descobriu que adicionar mais robôs não apenas tornou o sistema mais complexo; na verdade, mudou as regras do jogo sem que ninguém percebesse. É como uma corrida de revezamento onde o bastão é passado tantas vezes que o corredor na linha de chegada não tem ideia de quem começou a corrida. Nesses setups de múltiplos agentes, a decisão final (o veredito) pode parecer estável, mas o caminho para chegar lá foi uma bagunça. Na verdade, o estudo descobriu que, conforme a equipe ficava maior, a IA começou a tomar a mesma decisão para todos os casos, apenas para ser segura. Era como um aluno que, quando confuso, apenas escreve "não sei" em todas as questões da prova. A IA parecia super confiável porque estava dando a mesma resposta repetidamente, mas ela parou de realmente pensar sobre as diferenças entre os casos. O artigo chama isso de "reprodutibilidade de resultado degenerado": parece estável, mas na verdade está quebrado porque parou de distinguir entre diferentes situações.

Finalmente, o pesquisador testou um modelo de crédito simples e transparente (um que não é uma "caixa preta" de forma alguma) para ver se o problema era apenas sobre IA complexa. Ele usou duas versões do mesmo modelo, uma antiga e uma nova. Embora o novo modelo fosse quase idêntico ao antigo, ele mudou a decisão de 23 das 1.937 solicitações de empréstimo. Um solicitante foi negado pelo modelo antigo, mas encaminhado para revisão humana pelo novo, apenas porque a pontuação mudou por uma fração mínima. A parte assustadora? Se você tentar reproduzir a decisão antiga usando o novo modelo, você não consegue. O novo modelo é perfeitamente estável por si só, mas não consegue recriar o histórico do antigo. É como se você reescrevesse uma receita com uma pequena mudança na quantidade de sal, e de repente o bolo tivesse um gosto diferente, mas você não consegue mais voltar para provar o bolo original porque jogou fora a receita antiga.

Então, o que tudo isso significa? O artigo sugere que não podemos apenas confiar na IA para fazer seu trabalho e esperar o melhor. Não podemos assumir que, só porque uma IA é inteligente, ela também é responsável. O autor propõe uma nova forma de pensar chamada delegação contingente de evidências. Isso significa que devemos permitir que agentes de IA tomem grandes decisões apenas enquanto pudermos manter um "pacote de evidências" perfeito e ininterrupto que prove exatamente como eles o fizeram. Se a IA mudar seu cérebro, ou se as ferramentas que ela usa mudarem, ou se a equipe de robôs ficar grande demais e bagunçada, temos que parar e dizer: "Espere, não podemos mais provar isso". Podemos precisar desacelerar, manter registros mais detalhados ou ter um humano intervindo para conferir o trabalho. O artigo não diz que a IA é ruim; diz que, para a IA ser verdadeiramente útil nas finanças, precisamos garantir que possamos sempre olhar para trás e dizer: "Sim, foi exatamente assim que aconteceu", mesmo que o robô já tenha seguido para a próxima tarefa. Sem essa prova, o robô pode estar pilotando a nave, mas somos nós que seremos responsabilizados se ela cair.

Resumo Técnico: Governança de IA Agêntica em FinTech

Declaração do Problema
As instituições financeiras estão delegando cada vez mais decisões consequentes (ex: negação de crédito, execução de negociações) a sistemas de IA agêntica. Diferente dos modelos tradicionais que geram previsões ou conteúdo, os sistemas agênticos interpretam objetivos, os decompõem em sub-tarezas, coordenam ferramentas e memória, e agem com supervisão humana mínima. O desafio central de governança identificado não é meramente a opacidade de "caixa-preta" dos Grandes Modelos de Linguagem (LLMs), mas a perda de reprodutibilidade como um salvaguarda primário.

O artigo argumenta que a restrição vinculante para a governança da IA agêntica não é a capacidade, mas a verificabilidade. Quando um agente age de forma autônoma, a instituição permanece legal e operacionalmente responsável. No entanto, a natureza distribuída dos sistemas agênticos (abrangendo modelos, ferramentas, memória, orquestração e infraestrutura do provedor) cria um Hiato de Verificabilidade. Este hiato é definido como o déficit positivo entre a verificação exigida pela autoridade delegada e a explicabilidade e reprodutibilidade retidas após uma decisão específica. O artigo postula que os remédios empíricos atuais (reexecutar modelos) podem não funcionar mais porque os lançamentos dos provedores alteram ações históricas, controles de execução (como temperatura e sementes aleatórias) são retirados, e arquiteturas de orquestração introduzem camadas de política latentes que alteram as regras de decisão sem atualizações explícitas.

Metodologia
A pesquisa emprega um framework teórico combinado com três testes de mecanismos controlados. Os estudos não estimam a prevalência ao nível populacional, mas isolam mecanismos específicos que corroem a capacidade de verificação.

Construção Teórica: O autor define o Hiato de Verificabilidade ( $G_{dq}$ ) matematicamente como a diferença entre a verificação exigida pela autoridade delegada ( $\rho_\sigma(A_d)$ ) e a capacidade de verificação retida ( $V_{dq}$ ). Introduz a dependência serial como um mecanismo arquitetônico fundamental onde passagens de bastão causalmente materiais entre agentes podem comprimir evidências, tornando a reconstrução de ponta a ponta impossível, mesmo que os agentes individuais sejam estáveis.
Estudo 1 (Dominância do Provedor): Este estudo examina o impacto das mudanças do lado do provedor na reprodutibilidade. Utiliza 32 casos financeiros construídos através de quatro lançamentos datados dos modelos Claude Opus da Anthropic ao longo de 185 dias. Testa três condições:
- Cronologia de lançamento: Comparando vereditos modais entre lançamentos datados.
- Controle de decodificação: Variando a disponibilidade de temperatura e semente aleatória (random seed) (fixadas vs. retiradas) em um modelo local.
- Ambiente de execução: Comparando a execução local contra endpoints hospedados com controles fixados.
Estudo 2 (Orquestração e Arquitetura): Este estudo isola o efeito da orquestração multi-agente. Usando um modelo servido localmente (llama3.2:3b) e os mesmos 32 casos, realiza um varredura de configurações de 1 a 50 agentes. Mede a reprodutibilidade do resultado atual, a reprodutibilidade do traço exato e a diferenciação de veredito (a capacidade de distinguir entre casos) para detectar "colapso de saída".
Estudo 3 (Fidelidade Histórica em Modelos Determinísticos): Para separar a estocasticidade generativa dos efeitos de atualização de modelos, este estudo utiliza duas versões preservadas de um modelo de crédito logístico transparente treinado no conjunto de dados FICO HELOC. Testa se um modelo atual consegue reproduzir uma decisão histórica feita por uma versão anterior, mesmo quando o desempenho agregado (AUC) permanece estável.

Principais Contribuições
O artigo apresenta três contribuições primárias para a pesquisa em Sistemas de Informação (IS) e FinTech:

Verificabilidade como uma Relação Autoridade–Evidência: Reenquadra a governança de transparência de modelo para verificabilidade de sistema. O Hiato de Verificabilidade não é uma propriedade geral de um modelo, mas um déficit específico para um episódio de decisão, dependente do verificador, do padrão de evidência e do atraso de auditoria.
Teoria de Governança Multinível: Propõe sete proposições descrevendo como o hiato se manifesta no nível da empresa (restringindo a delegação defensável), no nível regulatório (perda de fidelidade histórica devido a mudanças não fixadas) e no nível de rede (falhas de auditoria sincronizadas via provedores compartilhados).
Reprodutibilidade como um Perfil de Governança: Argumenta contra o uso de uma única métrica escalar para reprodutibilidade. Em vez disso, define um perfil composto por quatro alvos:
- Reprodutibilidade do resultado atual: Estabilidade do sistema atual.
- Reprodutibilidade do resultado histórico: Capacidade de recuperar decisões passadas.
- Reprodutibilidade do processo material: Reconstrução do caminho da decisão.
- Reprodutibilidade do traço exato: Identidade do registro completo de execução.
  Introduz a diferenciação de veredito como um diagnóstico para identificar a estabilidade "degenerada", onde os sistemas param de distinguir casos.

Resultos

Estudo 1 (Controle do Provedor): Lançamentos de provedores alteraram ações financeiras históricas (ex: mudando decisões de negociação de "comprar" para "manter") mesmo sem alterações por parte da instituição. Crucialmente, os provedores retiraram controles de execução (temperatura, top_p, top_k) e nunca expuseram sementes aleatórias. Enquanto um modelo local com controles fixados reproduziu 320/320 execuções, os modelos hospedados falharam em reproduzir 1/320 e 1/960 execuções, respectivamente, mesmo sob os controles mais rigorosos disponíveis. Isso demonstra que as instituições não podem garantir a reprodutibilidade se não possuírem a superfície de controle.
Estudo 2 (Orquestração): Alterar a arquitetura de uma única chamada para um pipeline multi-agente alterou a regra de decisão operativa (os vereditos modais coincidiram em apenas 16/32 casos). Embora a reprodutibilidade do traço exato tenha sido zero em todas as configurações (nenhuma execução repetiu seu registro completo), a reprodutibilidade do resultado atual pareceu se recuperar em escalas maiores (40–50 agentes). No entanto, essa recuperação coincidiu com um colapso na diferenciação de veredito (DV caiu para 0,086), indicando que o sistema estava recorrendo a ações genéricas (ex: "negar" ou "escalar") em vez de tomar decisões matizadas. A capacidade compra um ponto de partida mais alto, mas não compra auditabilidade.
Estudo 3 (Fidelidade Histórica): Dois modelos de crédito determinísticos com desempenho agregado quase idêntico (AUC ~0,79) produziram ações diferentes para 23/1.937 casos após uma atualização. Um caso específico (índice 2270) mudou de "negar" para "encaminhar" devido a uma mudança mínima de pontuação que cruzou um limite de política. O modelo atual reproduziu perfeitamente sua própria decisão de "encaminhar", mas nunca poderia recuperar o "negar" histórico. Além disso, as explicações geradas pelo modelo atual foram fiéis à decisão atual, mas não responsivas evidencialmente à decisão histórica.

Significância e Alegações
O artigo afirma que a delegação contingente à evidência é a resposta de governança necessária. A autoridade autônoma só é defensável enquanto a evidência retida pode substanciar seu exercício. Os achados sugerem que:

Logs estáticos são insuficientes: As instituições devem preservar "pacotes de evidência executáveis" (inputs, versões de modelos, estados de ferramentas e regras de política) para permitir o replay histórico.
Orquestração é uma camada de política: Mudanças arquitetônicas (adicionar agentes, mudar topologia) podem alterar decisões financeiras sem atualizações explícitas de política, atuando como uma camada de política latente.
Métricas de estabilidade são enganosas: Alta reprodutibilidade de resultados pode mascarar o "colapso de saída" (perda de discriminação) ou o "desacoplamento de traço" (vereditos estáveis com caminhos não reprodutíveis).
A dependência de provedores cria risco sistêmico: Atualizações de provedores compartilhados podem causar falhas de auditoria sincronizadas em toda a rede financeira, e as instituições não podem preservar unilateralmente os controles necessários para o replay.

O artigo conclui que a supervisão humana deve ser contingente à evidência. Se a capacidade de verificação retida cair abaixo do padrão exigido pela autoridade delegada (devido ao drift do modelo, mudanças de orquestração ou perda de controles), as instituições devem contrair a autonomia, fortalecer a retenção de evidências ou rotear decisões para revisão humana substantiva. O objetivo não é a autonomia máxima, mas a autonomia defensável.

Resumo Técnico: Governança de IA Agêntica em FinTech

Mais como este