Resumo Técnico: Dos Números ao Julgamento: Agentes LLM Especialistas e Aprendizado por Reforço para o Setor Imobiliário Listado Europeu

1. Definição do Problema

A análise do setor imobiliário listado europeu apresenta um desafio duplo para os Grandes Modelos de Linguagem (LLMs): a necessidade de operações numéricas modulares (extração de métricas específicas de regime, cálculo de taxas de capitalização implícitas) e julgamentos financeiros integrativos (reconciliação de dimensões contábeis, regulatórias e de risco para avaliar a folga de cláusulas restritivas ou a sustentabilidade de dividendos).

O domínio é caracterizado por alta heterogeneidade; os regimes jurídicos e de reporte (ex: SIICs franceses vs. proprietários registrados em Luxemburgo) ditam regras distintas para obrigações de distribuição e métricas de desempenho. Um modo crítico de falha para os LLMs é a "armadilha da fluência": extrair um número correto de um documento, mas aplicar as regras do regime errado, levando a conclusões mecanicamente incorretas que são difíceis de detectar devido à fluência do output do modelo.

Sistemas multi-agentes existentes frequentemente confundem os benefícios da decomposição com instruções específicas do domínio ou diferenças de modelos. Este artigo busca isolar o efeito da decomposição especialista (ao nível de prompt) versus a adaptação de parâmetros (pós-treinamento) em um modelo de fronteira fixo e em um modelo menor, questionando especificamente:

1. A decomposição de uma tarefa em especialistas alinhados a lentes melhora o desempenho em um LLM de fronteira fixo?
2. Essa melhoria se generaliza tanto para tarefas numéricas quanto para tarefas de julgamento?
3. O pós-treinamento direcionado por Aprendizado por Reforço (RL) pode melhorar o julgamento integrativo de um modelo menor além de suas capacidades zero-shot?

2. Metodologia

2.1 O Framework Larix e a Formulação de Tarefas

O estudo utiliza o Larix, que mapeia um framework de análise de 16 lentes do setor imobiliário listado europeu para oito especialistas alinhados por lentes (ex: Financeiro, Qualidade de Ativos, Overlay Macroeconômico). A avaliação foca na camada de especialistas, excluindo a síntese downstream ou a definição de tamanho de posição.

O benchmark consiste em cinco tarefas distribuídas em 19 empresas abrangendo sete envelopes regulatórios:

• Tarefas Numéricas ($T_{num}$): $T_1$ (Métrica específica de regime), $T_3$ (Taxa de capitalização implícita), $T_6$ (Classificação de regime de payout). Estas exigem extração localizada ou cálculo determinístico.
• Tarefas de Julgamento ($T_{judg}$): $T_2$ (Ajuste de reconciliação), $T_5$ (Avaliação de estresse de cláusulas restritivas). Estas exigem a combinação de múltiplas divulgações e restrições específicas de regime.

2.2 Condições Experimentais

O estudo compara três condições de prompting usando um modelo de fronteira fixo (Claude Opus 4.8) e duas condições usando um modelo menor (Qwen3.5-9B):

1. Monolítico (Claude-Mono): Um prompt genérico de análise financeira sem decomposição de especialista.
2. Framework Completo (Claude-Full): Um prompt monolítico contendo o framework completo de 16 lentes (~4.800 caracteres).
3. Decomposição de Especialista (Claude-Spec): Um roteador determinístico atribui cada tarefa a um prompt de especialista alinhado à lente, contendo apenas o subconjunto relevante do framework.
4. Modelo Pequeno Zero-Shot (Qwen-ZS): Qwen3.5-9B utilizando prompts de especialista.
5. Pós-treinamento de RL (Qwen-RL): Qwen3.5-9B ajustado via Otimização de Política Relativa de Grupo (GRPO) com recompensas estruturadas alinhadas à tarefa.

2.3 Pontuação e Verdade Fundamental (Ground Truth)

A avaliação baseia-se em um sistema de pontuação determinístico baseado em rubrica, em vez de um juiz LLM.

• Verdade Fundamental: 45 tuplas rotuladas por um especialista em setor imobiliário independente; 50 tuplas curadas de fontes primárias pelos autores do framework.
• Pontuação: Os campos são pontuados com base em correspondência exata (com normalização de aliases) ou regras numéricas baseadas em tolerância (ex: ±5% para métricas, ±10% para razões). Outputs inválidos recebem zero.
• Métricas: Os agregados primários são $S_{num}$ (média de $T_1, T_3, T_6$) e $S_{judg}$ (média de $T_2, T_5$).

2.4 Configuração de Pós-treinamento de RL

O Qwen3.5-9B foi pós-treinado em 200 linhas (195 reais, 5 contrafatuais) usando GRPO.

• Recompensa: A pontuação do benchmark determinístico ($R_i = S_t(\hat{y}_i, y^\star_i)$).
• Otimização: A política é atualizada para maximizar a pontuação específica da tarefa diretamente, evitando juízes de linguagem separados.
• Divisões (Splits): Os dados de treinamento são disjuntos das empresas, envelopes e períodos mantidos fora (held-out), para testar a generalização e a anti-memorização.

3. Resultados Principais

3.1 Decomposição de Especialista: Efeitos Dependentes da Tarefa

No coorte continental de 19 empresas, a decomposição de especialista gerou um resultado dependente da tarefa:

• Tarefas Numéricas: O desempenho melhorou significativamente. A pontuação agregada subiu de 78,9% (Monolítico) para 94,7% (Especialista), um ganho de 15,8 pontos percentuais. Isso foi impulsionado por melhorias em $T_1$ (+26,3 pts) e $T_3$ (+21,1 pts).
• Tarefas de Julgamento: O desempenho não melhorou de forma confiável. A pontuação agregada permaneceu inalterada em 47,4%. Na verdade, $T_2$ (identificação de ajuste) viu uma leve queda (-5,2 pts).
• Exposição do Framework: Fornecer o framework completo de 16 lentes a um modelo monolítico (Claude-Full) não reproduziu os ganhos numéricos. Na verdade, reduziu o desempenho em $T_1$ (-10,5 pts) enquanto ajudou ligeiramente em $T_2$. Isso indica que o ganho vem da propriedade de lente delimitada (estreitamento do contexto), e não meramente da exposição de mais texto do framework.

3.2 Pós-treinamento de RL: Melhorando o Julgamento Integrativo

O pós-treinamento do Qwen3.5-9B com GRPO abordou as limitações da decomposição de prompt:

• Divisão de Desenvolvimento: A pontuação geral aumentou de 72,2% (Zero-Shot) para 84,2% (RL), um ganho de 12,0 pontos.
• Tarefas de Julgamento: O agregado de julgamento ($T_2 + T_5$) melhorou em 14,2 pontos (de 58,6% para 72,8%). Esta é a área específica onde a decomposição de nível de prompt falhou.
• Tarefas Numéricas: $T_1$ permaneceu no teto zero-shot (99,5%), enquanto $T_3$ e $T_6$ viram melhorias.

3.3 Transferência Out-of-Distribution (OOD)

Os ganhos do pós-treinamento de RL transferiram-se para dados não vistos:

• Empresas Não Vistas: A pontuação geral aumentou em +15,2 pontos. O ganho mais significativo foi na tarefa de estresse de cláusulas restritivas ($T_5$), que melhorou em +40,4 pontos (de 38,1% para 78,5%).
• Envelopes Não Vistos: A pontuação geral aumentou em +4,3 pontos.
• Períodos Posteriores: A pontuação geral aumentou em +2,5 pontos.
• Anti-Memorização: Uma transferência positiva foi observada em todas as três divisões de anti-memorização, confirmando que o modelo aprendeu políticas de decisão em vez de memorizar dados específicos de empresas.

4. Contribuições

O artigo apresenta quatro contribuições específicas:

1. Avaliação Controlada: Uma avaliação do mesmo modelo de decomposição de especialista alinhada por lentes que mantém evidência de origem, instruções e pontuação fixas, incluindo um controle de framework completo para isolar o efeito da decomposição.
2. Identificação de Trade-offs: Evidência empírica de que a decomposição melhora a análise numérica modular, mas não melhora de forma confiável (e pode reduzir) o desempenho em tarefas que exigem julgamento financeiro integrativo.
3. Pós-treinamento de RL Estruturado: Uma demonstração de que o pós-treinamento GRPO com recompensas estruturadas alinhadas à tarefa permite que um modelo menor (9B) supere seu desempenho zero-shot em tarefas de julgamento integrativo, com ganhos que se transferem para empresas e envelopes regulatórios não vistos.
4. Lançamento de Benchmark: O lançamento de um benchmark de 25 empresas e oito envelopes com uma rubrica de proveniência por célula corrigida e um harness de pontuação robusto.

5. Significância e Alegações

O artigo conclui que a divisão de trabalho dependente da tarefa é essencial para LLMs financeiros:

• A decomposição ao nível de prompt é eficaz para simplificar operações numéricas localizadas e verificáveis, removendo contexto irrelevante e tornando campos intermediários explícitos.
• O ajuste de parâmetros direcionado (pós-treinamento de RL) é necessário para o julgamento financeiro integrativo, onde o modelo deve reconciliar evidências através de múltiplas dimensões e restrições.

Os autores enfatem que estas conclusões são limitadas pelo tamanho do benchmark, cobertura de envelopes e famílias de modelos testadas. Eles não reivindicam superioridade geral de modelos pequenos sobre modelos de fronteira, mas sim que a especialização direcionada (via engenharia de prompt ou ajuste de parâmetros) aborda gargalos distintos na análise financeira. O estudo evita explicitamente alegações sobre síntese downstream, calibração de convicção ou definição de tamanho de posição, pois essas camadas não foram invocadas nos experimentos.