Resumo Técnico: Quando os Resumos Distorcem Decisões: Fidelidade de Informação na Análise Financeira Comprimida por LLM

1. Formulação do Problema

Em domínios financeiros de alto risco, os tomadores de decisão dependem de Grandes Modelos de Linguagem (LLMs) para comprimir documentos longos (ex: formulários 10-Q, transcrições de conferências de resultados) em contextos mais curtos. Embora as avaliações existentes foquem na qualidade da reconstrução, consistência factual ou preservação de informação superficial, elas frequentemente falham em avaliar se o contexto comprimido preserva a decisão implícita no documento original.

O artigo define Fidelidade de Informação como a preservação da decisão relativa à fonte: uma compressão possui alta fidelidade se a distribuição de crença induzida pelo texto comprimido permanecer próxima à do documento original. O principal modo de falha identificado não é meramente a alucinação, mas a distorção de decisão, onde um resumo fluente e factualmente plausível leva um tomador de decisão downstream a um julgamento de investimento (Bear/Neutro/Bull) diferente do que o texto completo da fonte sustentaria. Essa distorção pode decorrer de:

• Descontextualização: Retenção de fatos de destaque salientes enquanto se removem as ressalvas, compensações, comparações ou enquadramentos de expectativa necessários para uma interpretação correta.
• Dependência de Modelo: Diferentes modelos de compressão preservando subconjuntos diferentes de evidências da mesma fonte, levando a inclinações sistemáticas e específicas de cada modelo nos resultados.

2. Metodologia

2.1 Configuração Experimental

• Datasets: O estudo utiliza 300 seções MD&A de 10-Qs e 297 transcrições de conferências de resultados de empresas do S&P 100 (Trimestres Q1–Q3 do Ano Fiscal 2025).
• Modelo de Decisão: Um modelo de decisão fixo ($E$), especificamente o GEMINI-3.1-FLASH-LITE, que mapeia o texto para uma distribuição de crença sobre $\{bear, neutral, bull\}$.
• Métricas:
  • Taxa de Inversão de Decisão (Decision Flip Rate): A fração de documentos onde o rótulo predito principal muda após a compressão.
  • Distância de Variação Total (TVD): Mede a magnitude do desvio de crença mesmo quando o rótulo principal permanece inalterado.
  • Piso de Ruído (Noise Floor): Estabelecido ao fazer o modelo de decisão reler a fonte original sem compressão para quantificar a aleatoriedade inerente do modelo.

2.2 Abordagens de Compressão Avaliadas

1. Prompt Ingênuo (Naive Prompt): Uma compressão de passagem única via LLM selecionando os fatos "mais materiais" dentro de um orçamento fixo de tópicos (bullets).
2. Contextualização: Uma modificação de prompt instruindo o LLM a preservar detalhes que tornam os fatos interpretáveis (ex: comparações, ressalvas) em vez de apenas fatos isolados salientes.
3. Poda de Tokens (Token Pruning): Métodos como LLMLingua e LongLLMLingua que descartam tokens de baixa informação.
4. Integrador: Mesclagem de resumos de múltiplos modelos sem verificação da fonte.
5. Compressão de Contexto Agêntica (ACC): Um processo agêntico de dois estágios proposto:
   • Geração: Múltiplos candidatos a compressão são gerados da mesma fonte usando diferentes modelos.
   • Auditoria: Um agente audita as divergências entre os candidatos contra a fonte original. Ele utiliza ferramentas para grep e read trechos específicos da fonte para verificar se um candidato está alegando excessivamente (ex: fazendo a evidência parecer mais otimista/bullish ou pessimista/bearish do que a fonte suporta).
   • Seleção: O agente seleciona o candidato com o menor risco de alegação excessiva e melhor cobertura de locus da fonte.

2.3 Análise Diagnóstica

Os autores empregam um inventário de fatos offline (inspirado em FActScore e SAFE) para decompor os textos de origem em Fatos de Destaque (sinais primários), Fatos de Contexto (calibradores/ressalvas) e Texto Padronizado (Boilerplate). Isso permite a quantificação da descontextualização (a remoção desproporcional de fatos de contexto).

3. Resultados Principais

3.1 A Perda de Fidelidade é Significativa

• Inversões de Decisão: Todas as linhas de base de compressão de etapa única excedem significativamente o "piso de ruído" do modelo de decisão. Para MD&A de 10-Q, a compressão ingênua causou uma taxa de inversão de decisão de 33,0%, comparada a um piso de ruído de 11,0%. Para conferências de resultados, a taxa foi de 23,9% vs. 8,8%.
• Deriva de Crença (Belief Drift): Mesmo sem uma inversão de rótulo, a compressão causa desvios significativos nas distribuições de crença (TVD), indicando uma perda de nuance.
• Sensibilidade ao Orçamento: Aumentar o orçamento de compressão (mais tópicos) reduz a TVD, mas não elimina as inversões de decisão, sugerindo que simplesmente adicionar mais espaço não resolve o problema de qual informação é selecionada.

3.2 Padrões Diagnósticos

• Descontextualização: Sob compressão ingênua, a proporção de fatos de "contexto" caiu de 25% na fonte para 9% no output comprimido para MD&As. Restaurar esses fatos de contexto removidos em um experimento de "readição" diagnóstica recuperou a decisão original em 37% dos casos de inversão, superando significativamente a taxa de recuperação de fatos padronizados ou aleatórios.
• Dependência de Modelo: Diferentes compressores induzem diferentes desvios de decisão para o mesmo ticker. Por exemplo, um modelo pode deslocar uma ação para "Bearish" enquanto outro a desloca para "Bullish", com pontos de alta TVD variando entre os modelos. Isso confirma que a distorção induzida pela compressão não é aleatória, mas sistemática e específica do modelo.

3.2 Eficácia da Compressão de Contexto Agêntica (ACC)

• Desempenho do ACC: O ACC reduziu a taxa de inversão de decisão de MD&A para 20,3% e de conferências de resultados para 18,5%, superando tanto a compressão ingênua quanto a linha de base "Integrador" (que apenas mescla resumos sem auditoria).
• Estudo de Caso da Indústria: Em uma implementação dentro de um produto comercial de previsão de ações, o ACC melhorou o Coeficiente de Informação (IC) de previsão em 8,3% em relação à linha de base da fonte original e em 23,8% em relação à compressão ingênua, enquanto reduziu as inversões de decisão em relação à fonte em 59,5%.

4. Contribuições

1. Critério de Fidelidade de Informação: O artigo introduz uma métrica centrada na decisão para avaliar a compressão de contexto, indo além da factualidade para avaliar se a decisão implicada pela fonte é preservada.
2. Evidência Empírica de Distorção: Usando dados financeiros reais, o estudo demonstra que a compressão por LLM frequentemente altera julgamentos de investimento, identificando a descontextualização e a dependência de modelo como mecanismos primários.
3. Compressão de Contexto Agêntica (ACC): Os autores propõem e validam um procedimento baseado na fonte que gera múltiplos candidatos e os audita contra a fonte original para mitigar inversões de decisão.

5. Significância e Alegações

O artigo argumenta que, na tomada de decisão financeira, preservar fatos isolados é insuficiente. O valor de um resumo reside em sua capacidade de reter os qualificadores contextuais (ressalvas, comparações, enquadramento) necessários para interpretar esses fatos corretamente.

Os autores afirmam que:

• A compressão deve ser avaliada não apenas pela eficiência ou factualidade superficial, mas pela sua capacidade de preservar o contexto relevante para a decisão.
• A distorção de decisão é um modo de falha sistemático que pode ser mitigado pela auditoria de múltiplas visões comprimidas contra a fonte, em vez de confiar no resumo de um único modelo.
• Em sistemas de produção, manter a fidelidade da informação é crítico para manter os sinais de previsão downstream, pois a compressão ingênua pode degradar o desempenho do modelo mesmo quando o resumo parece fluente e plausível.

6. Limitações

Os autores observam que suas descobertas são específicas para divulgações financeiras de empresas do S&P 100 e podem não se generalizar para outros domínios. A fidelidade é medida via um modelo de decisão, em vez de analistas humanos ou resultados de mercado realizados. Adicionalmente, o ACC reduz, mas não elimina, a perda de fidelidade, particularmente se todos os candidatos a compressores omitirem a mesma informação crítica.