Resumen Técnico: De los Números al Juicio: Agentes de LLM Especializados y Aprendizaje por Refuerzo para el Sector Inmobiliario Cotizado Europeo

1. Planteamiento del Problema

El análisis del sector inmobiliario cotizado en Europa presenta un desafío dual para los Modelos de Lenguaje de Gran Escala (LLM): la necesidad de operaciones numéricas modulares (extracción de métricas específicas de un régimen, cálculo de tasas de capitalización implícitas) y de juicios financieros integrativos (reconciliación de dimensiones contables, regulatorias y de riesgo para evaluar el margen de cumplimiento de covenants o la sostenibilidad de dividendos).

El dominio se caracteriza por una alta heterogeneidad; los regímenes legales y de reporte (por ejemplo, los SIICs franceses frente a los propietarios registrados en Luxemburgo) dictan reglas distintas para las obligaciones de distribución y las métricas de desempeño. Un modo de fallo crítico para los LLM es la "trampa de la fluidez": extraer una cifra correcta de un informe pero aplicar las reglas del régimen equivocado, lo que conduce a conclusiones mecánicamente incorrectas que son difíciles de detectar debido a la fluidez del output del modelo.

Los sistemas multi-agente existentes suelen confundir los beneficios de la descomposición con las instrucciones específicas del dominio o las diferencias de los modelos. Este documento busca aislar el efecto de la descomposición especialista (a nivel de prompt) frente a la adaptación de parámetros (post-entrenamiento) en un modelo de frontera fijo y en un modelo más pequeño, planteando específicamente:

1. ¿Mejora la descomposición de una tarea en especialistas alineados con una lente el rendimiento en un LLM de frontera fijo?
2. ¿Se generaliza esta mejora tanto en tareas numéricas como de juicio?
3. ¿Puede el post-entrenamiento mediante Aprendizaje por Refuerzo (RL) dirigido mejorar el juicio integrativo de un modelo más pequeño más allá de sus capacidades zero-shot?

2. Metodología

2.1 El Marco Larix y la Formulación de Tareas

El estudio utiliza Larix, que mapea un marco de análisis de 16 lentes para el sector inmobiliario cotizado europeo en ocho especialistas alineados con cada lente (por ejemplo, Finanzas, Calidad de Activos, Capa Macro). La evaluación se centra en la capa de especialistas, excluyendo la síntesis descendente o la asignación de tamaño de posición.

El benchmark consiste en cinco tareas a través de 19 firmas que abarcan siete envoltorios regulatorios (wrappers):

• Tareas Numéricas ($T_{num}$): $T_1$ (Métrica específica de régimen), $T_3$ (Tasa de capitalización implícita), $T_6$ (Clasificación del régimen de pago). Estas requieren extracción localizada o cálculo determinista.
• Tareas de Juicio ($T_{judg}$): $T_2$ (Ajuste de reconciliación), $T_5$ (Evaluación de estrés de covenants). Estas requieren combinar múltiples divulgaciones y restricciones específicas del régimen.

2.2 Condiciones Experimentales

El estudio compara tres condiciones de prompting utilizando un modelo de frontera fijo (Claude Opus 4.8) y dos condiciones utilizando un modelo más pequeño (Qwen3.5-9B):

1. Monolítico (Claude-Mono): Un prompt de análisis financiero genérico sin descomposición de especialistas.
2. Marco Completo (Claude-Full): Un prompt monolítico que contiene el marco completo de 16 lentes (~4,800 caracteres).
3. Descomposición de Especialistas (Claude-Spec): Un router determinista asigna cada tarea a un prompt de especialista alineado con la lente que contiene solo el subconjunto relevante del marco.
4. Zero-Shot Modelo Pequeño (Qwen-ZS): Qwen3.5-9B utilizando prompts de especialistas.
5. Post-entrenamiento RL (Qwen-RL): Qwen3.5-9B ajustado mediante Optimización de Política Relativa de Grupo (GRPO) con recompensas estructuradas alineadas con la tarea.

2.3 Puntuación y Verdad de Referencia (Ground Truth)

La evaluación se basa en un sistema de puntuación determinista basado en rúbricas en lugar de un juez de LLM.

• Verdad de Referencia: 45 tuplas etiquetadas por un experto independiente en bienes raíces; 50 tuplas curadas de fuentes primarias por los autores del marco.
• Puntuación: Los campos se puntúan basándose en la coincidencia exacta (con normalización de alias) o reglas numéricas basadas en tolerancia (por ejemplo, ±5% para métricas, ±10% para ratios). Los outputs inválidos reciben cero.
• Métricas: Los agregados primarios son $S_{num}$ (promedio de $T_1, T_3, T_6$) y $S_{judg}$ (promedio de $T_2, T_5$).

2.4 Configuración de Post-entrenamiento RL

Qwen3.5-9B fue post-entrenado en 200 filas (195 reales, 5 contrafácticas) usando GRPO.

• Recompensa: La puntuación del benchmark determinista ($R_i = S_t(\hat{y}_i, y^\star_i)$).
• Optimización: La política se actualiza para maximizar la puntuación específica de la tarea directamente, evitando jueces de modelos de lenguaje separados.
• Divisiones (Splits): Los datos de entrenamiento son disjuntos de las firmas, envoltorios y periodos mantenidos fuera (held-out) para probar la generalización y la anti-memorización.

3. Resultados Clave

3.1 Descomposición de Especialistas: Efectos Dependientes de la Tarea

En la cohorte continental de 19 firmas, la descomposición de especialistas produjo un resultado dependiente de la tarea:

• Tareas Numéricas: El rendimiento mejoró significativamente. La puntuación agregada aumentó de 78.9% (Monolítico) a 94.7% (Especialista), una ganancia de 15.8 puntos porcentuales. Esto fue impulsado por mejoras en $T_1$ (+26.3 pts) y $T_3$ (+21.1 pts).
• Tareas de Juicio: El rendimiento no mejoró de manera fiable. La puntuación agregada se mantuvo sin cambios en 47.4%. De hecho, $T_2$ (identificación de ajustes) experimentó una ligera disminución (-5.2 pts).
• Divulgación del Marco: Proporcionar el marco completo de 16 lentes a un modelo monolítico (Claude-Full) no reprodujo las ganancias numéricas. De hecho, redujo el rendimiento en $T_1$ (-10.5 pts) mientras ayudó ligeramente en $T_2$. Esto indica que la ganancia proviene de la propiedad de la lente delimitada (estrechamiento del contexto), no simplemente de exponer más texto del marco.

3.2 Post-entrenamiento RL: Mejorando el Juicio Integrativo

El post-entrenamiento de Qwen3.5-9B con GRPO abordó las limitaciones de la descomposición por prompt:

• División de Desarrollo: La puntuación general aumentó de 72.2% (Zero-Shot) a 84.2% (RL), una ganancia de 12.0 puntos.
• Tareas de Juicio: El agregado de juicio ($T_2 + T_5$) mejoró en 14.2 puntos (de 58.6% a 72.8%). Esta es el área específica donde la descomposición por nivel de prompt falló.
• Tareas Numéricas: $T_1$ se mantuvo en el techo zero-shot (99.5%), mientras que $T_3$ y $T_6$ vieron mejoras.

3.3 Transferencia Fuera de Distribución (OOD)

Las ganancias del post-entrenamiento RL se transfirieron a datos no vistos:

• Firmas No Vistas: La puntuación general aumentó en +15.2 puntos. La ganancia más significativa fue en la tarea de estrés de covenants ($T_5$), que mejoró en +40.4 puntos (de 38.1% a 78.5%).
• Wrappers No Vistos: La puntuación general aumentó en +4.3 puntos.
• Periodos Posteriores: La puntuación general aumentó en +2.5 puntos.
• Anti-Memorización: Se observó una transferencia positiva en todos los splits de anti-memorización, confirmando que el modelo aprendió políticas de decisión en lugar de memorizar datos específicos de las firmas.

4. Contribuciones

El documento realiza cuatro contribuciones específicas:

1. Evaluación Controlada: Una evaluación del mismo modelo de la descomposición de especialistas alineados con la lente que mantiene fijos la evidencia de la fuente, las instrucciones y la puntuación, incluyendo un control de marco completo para aislar el efecto de la descomposición.
2. Identificación de Trade-offs: Evidencia empírica de que la descomposición mejora el análisis numérico modular pero no mejora de manera fiable (y puede reducir) el rendimiento en tareas que requieren un juicio financiero integrativo.
3. Post-entrenamiento RL Estructurado: Una demostración de que el post-entrenamiento GRPO con recompensas estructuradas alineadas con la tarea permite que un modelo pequeño (9B) supere su rendimiento zero-shot en tareas de juicio integrativo, con ganancias que se transfieren a firmas y envoltorios regulatorios no vistos.
4. Lanzamiento de Benchmark: El lanzamiento de un benchmark de 25 firmas y ocho envoltorios con una rúbrica de procedencia por celda corregida y un arnés de puntuación robustecido.

5. Significado y Reivindicaciones

El documento concluye que la división del trabajo dependiente de la tarea es esencial para los LLM financieros:

• La descomposición a nivel de prompt es efectiva para simplificar operaciones numéricas localizadas y verificables al eliminar el contexto irrelevante y hacer explícitos los campos intermedios.
• La adaptación de parámetros dirigida (post-entrenamiento RL) es necesaria para el juicio financiero integrativo, donde el modelo debe reconciliar la evidencia a través de múltiples dimensiones y restricciones.

Los autores enfatizan que estas conclusiones están limitadas por el tamaño del benchmark, la cobertura de los envoltorios y las familias de modelos probadas. No reclaman una superioridad general de los modelos pequeños sobre los modelos de frontera, sino que la especialización dirigida (ya sea mediante ingeniería de prompts o ajuste de parámetros) aborda cuellos de botella distintos en el análisis financiero. El estudio evita explícitamente realizar afirmaciones sobre la síntesis descendente, la calibración de convicción o la asignación de tamaño de posición, ya que esas capas no fueron invocadas en los experimentos.