One Size Fits None: Heuristic Collapse in LLM Investment Advice

Resumo Técnico: "One Size Fits None: Heuristic Collapse in LLM Investment Advice"

1. O Problema: Colapso Heurístico

O artigo investiga uma falha crítica no uso de Grandes Modelos de Linguagem (LLMs) em domínios de alto risco (como finanças, medicina e direito). Os autores introduzem o conceito de "colapso heurístico" (heuristic collapse): um fenômeno onde o modelo, embora processe um contexto complexo e multifatorial, reduz sua tomada de decisão a apenas um ou dois atributos salientes (atalhos cognitivos).

No contexto de aconselhamento de investimentos, o padrão legal de "adequação" (suitability) exige que o conselheiro integre múltiplos fatores: tolerância ao risco, idade, renda, horizonte de investimento e necessidades de liquidez. O problema central é que os LLMs podem fornecer recomendações que parecem personalizadas e fluentes, mas que são, na verdade, insensíveis à maior parte do perfil do cliente, baseando-se quase exclusivamente em um único fator (geralmente a tolerância ao risco declarada).

2. Metodologia

Para quantificar esse fenômeno, os pesquisadores desenvolveram um pipeline de diagnóstico rigoroso:

• Geração de Dados (Latin Hypercube Sampling): Em vez de usar perfis aleatórios simples, utilizaram a amostragem por hipercubo latino para garantir uma cobertura ortogonal e ampla do espaço de entrada. Isso permitiu isolar o efeito causal de cada característica do cliente (idade, renda, etc.) sem correlações espúrias.
• Tarefa de Aconselhamento: Os modelos foram instruídos a construir portfólios a partir de um menu padronizado de 20 produtos de investimento para 1.000 perfis sintéticos.
• Modelagem de Substituição (Surrogate Models): Para "abrir a caixa preta" do LLM, os autores aplicaram modelos interpretáveis (Random Forest e Regressão Ridge) sobre os pares de entrada (perfil) e saída (alocação do LLM). O objetivo era descobrir quais variáveis o LLM realmente estava usando para decidir.
• Métricas de Diagnóstico:
  • Concentração de Atributos (FC): Adaptada do Índice Herfindahl-Hirschman, mede o quanto a importância das variáveis está concentrada em uma só. Um $FC$ próximo de 1 indica colapso heurístico puro; próximo de $1/k$ indica integração holística.
  • Diversificação (HHI) e Personalização (Jaccard): Para medir a qualidade do portfólio resultante.
• Modelos Avaliados: Família GPT (GPT-4o e a série GPT-5.4), testados em condições de baseline (sem ferramentas) e com uso de busca na web (web search).

3. Principais Contribuições

• Definição de Colapso Heurístico: Estabelece uma distinção entre erro factual (dar uma resposta errada) e colapso heurístico (dar uma resposta que parece certa, mas ignora o contexto).
• Framework de Auditoria de Sensibilidade: Propõe que a avaliação de modelos em tarefas de aconselhamento não deve focar apenas na qualidade da saída (output quality), mas na sensibilidade à entrada (input sensitivity).
• Análise do Impacto da Busca na Web: Demonstra que ferramentas de busca não resolvem o problema de raciocínio e podem, em alguns casos, agravar a homogeneização das respostas.

4. Resultados Principais

• Domínio da Tolerância ao Risco: Os LLMs exibem um colapso heurístico massivo. As decisões de alocação são dominadas pela "tolerância ao risco auto-relatada", com contribuições marginais de idade, renda e horizonte de investimento.
• O Paradoxo da Busca na Web:
  • A busca na web melhora a diversificação dos portfólios (os modelos citam mais produtos atuais).
  • No entanto, a busca na web reduz a personalização (aumenta a similaridade Jaccard entre clientes diferentes). Os modelos tendem a ancorar as recomendações em produtos comuns encontrados na web, tornando o conselho "genérico" em vez de "individualizado".
• Divergência de Modelos: No GPT-4o, a busca na web parece "deslocar" o raciocínio do modelo, resultando em justificativas (racionais) de pior qualidade e menos específicas. Já a família GPT-5.4 mostrou maior capacidade de integrar a busca sem perder a profundidade, embora o colapso heurístico ainda persista.

5. Significância e Conclusões

O estudo conclui que os LLMs atuais não são adequados para atuar como conselheiros financeiros fiduciários. Eles falham em distinguir entre a disposição ao risco (vontade) e a capacidade de risco (recursos financeiros/tempo), o que é essencial para a segurança financeira do cliente.

A principal lição para a IA é que o aumento da escala do modelo ou a adição de ferramentas de busca não garante um raciocínio mais holístico. Para aplicações de alto risco, é necessário auditar se o modelo está realmente "ouvindo" todos os parâmetros do usuário ou se está apenas seguindo atalhos estatísticos.