Resumo Técnico: EVIDENCELENS

Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados para responder perguntas sobre documentos financeiros complexos (relatórios anuais, apresentações de resultados, notas de analistas). No entanto, em fluxos de trabalho financeiros de alto risco, os outputs desses modelos são difíceis de verificar. Uma resposta fluente frequentemente mistura afirmações diretamente fundamentadas, sínteses fracas e alegações não suportadas entre texto narrativo, tabelas e gráficos. Interfaces de chat convencionais tipicamente fornecem apenas links de citação grosseiros ou nenhuma procedência, tornando impossível para os analistas distinguir entre uma afirmação rigorosamente sustentada e uma que é meramente uma especulação de aparência plausível. Pesquisas existentes em visualização e IA abordaram a compreensão de gráficos ou o raciocínio textual separadamente, mas poucas interfaces existem para auditar respostas financeiras multimodais onde a evidência é simultaneamente textual, tabular e visual.

Metodologia

Os autores propõem o EVIDENCELENS, um protótipo de análise visual que reformula o questionamento (QA) financeiro não como uma tarefa de geração de texto, mas como um problema de alinhamento entre alegação e evidência.

1. Modelo de Dados e Normalização

O sistema decompõe uma resposta gerada em um conjunto de alegações atômicas ($C$) e as alinha com itens de evidência ($E$).

• Alegações: Normalizadas como tuplas $(y_i, o_i, v_i, q_i)$, onde $y_i$ é o tipo de alegação (valor, comparação, tendência, explicação), $o_i$ é um template de operador, $v_i$ é um payload numérico e $q_i$ é um glossário textual.
• Evidência: Normalizada como tuplas $(m_j, u_j, t_j, a_j)$, onde $m_j$ é a modalidade (texto, tabela, gráfico), $u_j$ é um âncoras específica da modalidade (ex: caminho da célula, grupo de marcas do gráfico), $t_j$ é uma descrição de superfície e $a_j$ armazena atributos tipados (ex: inclinação, extremos).
• Pontuação de Alinhamento: Uma pontuação de compatibilidade leve ($s_{ij}$) é computada usando características semânticas, numéricas, estruturais e de proximidade local ponderadas. Os links são categorizados como suporte, suporte parcial, contradição ou contexto com base em limiares e testes de polaridade.

2. Design Visual

A interface centra-se em uma matriz de alegação-evidência multimodal em vez de um transcrito de chat.

• Painel de Alegações: Decompõe a resposta em cartões, exibindo um glifo de status e uma barra empilhada mostrando a contribuição relativa das evidências de texto, tabela e gráfico. Visualiza um hiato de confiança-suporte (alta confiança do modelo vs. suporte alinhado fraco) para priorizar a revisão.
• Matriz de Alegação-Evidência: As linhas representam as alegações; as colunas representam os itens de evidência agrupados por modalidade e ordem de origem. As células codificam a relação (suporte/contradição). Este layout expõe a cobertura de suporte, o desequilíbrio de modalidade (ex: uma explicação suportada apenas por prosa) e as contradições (padrões mistos de verde/vermelho) de relance.
• Visualização de Fonte Coordenada: A seleção de uma célula da matriz destaca a região correspondente em visualizações sincronizadas de texto, tabela e gráfico, preservando o contexto local (ex: cabeçalhos, sentenças circundantes, intervalos específicos do gráfico).
• Visualização de Traço (Trace View): Resume a ordem de recuperação de evidências e os passos de raciocínio.

3. Reprodutibilidade e Pipeline

Para garantir a reprodutibilidade, o sistema especifica um esquema de artefato baseado em JSON contendo alegações, evidências e links. Um algoritmo de classificação de prioridade de revisão determinístico agrega o suporte por modalidade para calcular um escore de risco ($r_i$). Este escore prioriza alegações com grandes hiatos de confiança–suporte, contradições ou dependência de uma única modalidade. O protótipo utiliza um backend semiautomático onde um LLM propõe alegações e intervalos de justificativa, mapeados para regiões de origem via regras, mas a lógica de visualização permanece agnóstica ao backend.

Principais Contribuições

O artigo descreve quatro contribuições específicas:

1. Proveniência Centrada na Alegação: Uma representação para QA financeiro que trata as respostas como conjuntos de alegações atômicas vinculadas a evidências heterogêneas (texto, tabelas, gráficos) em vez de um único bloco de texto.
2. Matriz de Alegação-Evidência Multimodal: Uma visualização que torna a cobertura de suporte, o desequilíbrio de modalidade e as contradições imediatamente visíveis, permitindo que analistas auditem respostas com velocidade.
3. Pipeline de Alinhamento Reproduzível: Uma especificação para um sistema de alinhamento e prioridade de revisão leve, com pesos e limiares explícitos e um esquema de artefato JSON que permite a reconstrução determinística do estado visual.
4. Validação de Cenários: Uma demonstração do design através de cenários representativos de auditoria de relatórios, destilando lições para interfaces de IA financeira confiáveis.

Resultados e Observações

O artigo não apresenta um estudo de usuário em larga escala com significância estatística, mas fornece percursos de cenários representativos (Caso 1: Melhoria de margem; Caso 2: Revisão de guidance) para ilustrar a utilidade do sistema.

• Detecção de Modos de Falha: A visualização torna legíveis três modos de falha recorrentes:
  • Saltos explicativos não suportados: Identificados por linhas esparsas onde o suporte está concentrado apenas em prosa.
  • Contradições ocultas: Identificadas por células de suporte/contradição mistas dentro de uma única linha (ex: narrativa vs. notas de rodapé).
  • Síntese excessivamente confiante: Identificada por um grande hiato de confiança–suporte, apesar da linguagem fluente.
• Impacto no Fluxo de Trabalho: O sistema permite que analistas distingam entre alegações que devem ser aceitas, qualificadas ou rejeitadas outright, uma granularidade que as interfaces de chat convencionais achatam. Ele desloca o fluxo de trabalho da busca manual em documentos para uma triagem de "visão geral primeiro" de declarações arriscadas.

Significância e Alegações

O artigo argumenta que a confiabilidade do QA financeiro depende tanto do design da interface quanto da precisão do modelo.

• Problema de Representação: Os autores postulam que, além da recuperação (encontrar evidência) e da linguagem (gerar respostas), existe um "problema de representação" ausente. Os usuários precisam de uma estrutura para comparar alegações, notar desequilíbrios e preservar o contexto da fonte sem perder o fio da resposta.
• Auditabilidade sobre Narrativa: O design da matriz prioriza a auditabilidade (comparação rápida, padrões de densidade) sobre o floreio narrativo, tratando gráficos como evidência de primeira classe em vez de apenas capturas de tela.
• Utilidade Editorial: A interface suporta um fluxo de trabalho editorial onde profissionais podem refinar respostas para que sejam precisas o suficiente para reutilização em notas ou memorandos, em vez de apenas encontrar erros binários.
• Generalização: Embora focado em finanças, os autores sugerem que a abordagem se generaliza para outros domínios que exigem procedência sobre dados heterogêneos (políticas, medicina, relatórios científicos).

O artigo conclui que o EVIDENCELENS reformula o QA financeiro como uma tarefa de auditoria visual, transformando o QA multimodal opaco em uma estrutura visual auditável adequada para ferramentas de IA financeira inspecionáveis, defensáveis e sob pressão de tempo.