From Forecasts to Auditable Reports: Evidence Contracts for LLM-Assisted Housing-Guarantee Risk Monitoring

Resumo Técnico: De Previsões a Relatórios Auditáveis

Configuração do Problema
Instituições de garantia de habitação pública enfrentam um desafio crítico ao converter previsões de risco para o próximo mês, que são ruidosas, em relatórios operacionais oportunos e auditáveis. No contexto do mercado de garantias de jeonse (grande depósito antecipado) da Coreia do Sul, esta tarefa é complicada por três fatores: (1) a esparsidade de eventos de risco na cauda superior (acidentes de garantia), o que torna a minimização do erro médio insuficiente para o monitoramento de risco; (2) restrições de governança de dados que impedem a transmissão de registros de garantias brutos e confidenciais para Modelos de Linguagem de Grande Escala (LLMs) externos; e (3) o risco de "alucinação", onde narrativas fluentes de LLMs podem inventar evidências, distorcer unidades numéricas ou fabricar análogos históricos. O problema central não é meramente a previsão, mas a comunicação de risco com restrição de evidência: gerar relatórios que sejam verificáveis, fundamentados em dados específicos e adequados para a revisão de analistas sem expor dados de origem sensíveis.

Metodologia
Os autores propõem um pipeline de relatório com restrição de evidência que desacopla a previsão estatística da geração narrativa, inserindo "contratos de evidência" estruturados entre ambos.

1. Base de Previsão Sensível ao Risco:

   • O sistema utiliza um Temporal Fusion Transformer (TFT) para prever as taxas de acidentes de garantia por segmento para o próximo mês.
   • Ao contrário dos modelos padrão otimizados para o Erro Médio Absoluto (MAE), o TFT é treinado com um objetivo de estilo arrependimento (regret-style objective). Esta função de perda assimétrica impõe uma penalidade maior para a subprevisão de eventos de alto risco (cauda direita) do que para a sobreprevisão de segmentos de baixo risco, alinhando o modelo com os custos operacionais de avisos perdidos.
   • Crucialmente, o TFT expõe pesos internos de seleção de variáveis e atenção temporal, que servem como a "razão" para a previsão.

2. Recuperação de Raciocínio do Modelo:

   • Para encontrar precedentes históricos relevantes sem vazar dados brutos, o sistema constrói uma representação de raciocínio do modelo ($Z_{i,t}$) concatenando as matrizes de seleção de variáveis e de atenção temporal do TFT.
   • O Alinhamento de Núcleo Centrado (CKA) é usado para medir a similaridade entre a matriz de raciocínio da janela atual e as janelas históricas. Isso recupera "casos análogos" baseados em como o modelo raciocinou (padrões de tempo e variáveis) em vez de apenas nos valores brutos das covariáveis.
   • Janelas de referência de alto risco são selecionadas separadamente com base em resultados realizados para garantir que o sistema distinga entre "raciocínio semelhante" e "resultados históricos severos".

3. Contratos de Evidência e Relatórios Estruturados:

   • Antes de um LLM ser invocado, um módulo determinístico compila um Contrato de Evidência Tipado ($E_{i,t}$). Este contrato contém campos fixos: a previsão, a linha de base, o rótulo de direção (Subida/Descida/Estável), os principais impulsionadores, evidência temporal, casos análogos, referências de alto risco e ressalvas.
   • O LLM é estritamente limitado a verbalizar o conteúdo deste contrato. É proibido ao LLM gerar novas previsões, impulsionadores ou análogos históricos.
   • Três interfaces são testadas: Dados Brutos (contexto não estruturado), Cartão de Evidência (contrato tipado adicionado) e Relatório Estruturado (contrato + gramática de relatório fixa).

4. Protocolo de Auditoria:

   • Uma camada de auditoria determinística verifica o rascunho gerado contra o contrato de evidência. Ela verifica a consistência da direção, fidelidade numérica, correção de unidades, validade de características e a ausência de inferências não suportadas.
   • O resultado é um conjunto de sinalizações indicando quais afirmações requerem verificação do analista, em vez de uma decisão automatizada de aprovação ou reprovação.

Principais Contribuições

1. Formulação: O artigo reformula o monitoramento de garantias de habitação como um processo de conversão de previsões de risco esparsas em evidências de revisão auditáveis sob restrições de capacidade e governança, em vez de uma tarefa de pura previsão.
2. Fluxo de Trabalho: Introduz um fluxo de trabalho de construção de evidência que vincula valores de previsão, impulsionadores derivados do modelo, períodos influentes e precedentes históricos antes da geração do relatório, garantindo que o LLM opere em um conjunto delimitado de fatos admissíveis.
3. Avaliação: O estudo avalia o pipeline através de uma lente multifacetada: utilidade de previsão sensível à cauda, fidelidade do relatório (fundamentação), auditabilidade e uma avaliação de especialistas envolvendo 51 analistas.

Resultados

• Desempenho de Previsão: O TFT treinado com arrependimento supera significativamente os modelos padrão (LSTM, DLinear, LightGBM) na detecção de eventos de alto risco. Embora o LSTM tenha alcançado o menor MAE (0,027), ele teve um recall de P90 de apenas 0,080. O modelo proposto TFT-Regret alcançou um recall de P90 de 0,560 (detectando 14 de 25 casos de alto risco realizados), ao custo de um aumento modesto no MAE (0,041).
• Qualidade do Relatório: Em oito LLMs, o uso de contratos de evidência estruturados melhorou consistentemente a qualidade do relatório, a fidelidade numérica e a fundamentação ao nível de afirmação em comparação com entradas de dados brutos.
• Validação de Especialistas: Em um estudo com 51 analistas e profissionais do setor, a maioria classificou os relatórios com restrição de evidência como praticamente úteis para revisão e tomada de decisão no mundo real. A maioria dos participantes endossou um piloto operacional, observando que os relatórios apoiam o fluxo de trabalho necessário de "analista no ciclo" (analyst-in-the-loop).

Significância e Alegações
O artigo argumenta que o suporte confiável de relatórios assistidos por LLM em monitoramento financeiro de alto risco não pode depender apenas de modelos preditivos. Em vez disso, requer um acoplamento de modelos preditivos com evidência estruturada, verificação explícita e supervisão de analistas.

Os autores alegam que sua abordagem transforma com sucesso a geração aberta em relatórios delimitados e verificáveis. Ao tratar as saídas do modelo como "evidência orientada para auditoria" em vez de explicações causais, e ao impor um contrato de evidência estrito antes da geração, o sistema mitiga os riscos de alucinação e vazamento de dados. Os achados sugerem que, para o monitoramento de risco operacional, o valor de um sistema de IA não reside em sua capacidade de gerar texto fluente, mas em sua capacidade de organizar e apresentar evidências admissíveis e verificadas que apoiem o julgamento humano. O sistema é projetado para auxiliar, não substituir, o analista, garantindo que o julgamento de risco final permaneça uma responsabilidade humana apoiada por um rastro transparente e baseado em evidências.