Resumen Técnico: InvestPhilBench

Declaración del Problema

Los Modelos de Lenguaje Extensos (LLMs) se están desplegando cada vez más como asistentes de investigación de inversiones, sin embargo, los benchmarks existentes no logran evaluar si los modelos pueden reconstruir y aplicar con precisión los marcos de decisión procedimentales específicos de los inversores expertos. Los benchmarks actuales se centran en la recuperación de hechos (p. ej., FinanceBench), el razonamiento numérico (p. ej., FinQA) o los resultados de decisiones basadas en agentes (p. ej., INVESTORBENCH). No evalúan si un modelo comprende la lógica secuencial, condicional y de "criterio de eliminación" que define la filosofía de un inversor (p. ej., la puerta del "Círculo de Competencia" de Warren Buffett o la lógica dependiente de regímenes de Ray Dalio).

El artículo argumenta que el conocimiento de la filosofía de inversión es distinto del cálculo financiero o la recuperación de documentos porque es procedimental, atribuido, contradictorio y comparativo. Los modelos suelen fallar por:

• Omisión de Criterios de Eliminación: Proceder con el análisis después de una puerta que debería terminar el proceso (p. ej., evaluar la relación P/E de una empresa farmacéutica a pesar de que está fuera del círculo de competencia de Buffett).
• Aplanamiento de Operacionalizaciones: Confundir definiciones distintas de conceptos compartidos (p. ej., aplicar la pantalla mecánica de "net-net" de Graham a una pregunta sobre el "margen de seguridad" de Buffett).
• Conflación Temporal: Fusionar posiciones históricas contradictorias (p. ej., el rechazo de Buffett a las aerolíneas en 2001 frente a su compra de las mismas en 2016).
• Difusión de Voz: Mezclar las distintas personalidades analíticas de diferentes inversores.

Metodología

1. Taxonomía Cognitiva (L1–L8)

InvestPhilBench introduce una taxonomía cognitiva de ocho niveles para evaluar la profundidad del razonamiento:

• L1–L3 (Recuperación de Hechos): Identificación de principios, atribución de fuentes y recuperación de operacionalizaciones.
• L4–L5 (Reconstrucción Procedimental): Reconstrucción de procesos de decisión de múltiples pasos en el orden correcto y comparación de marcos entre inversores.
• L6–L8 (Aplicación Generativa): Reconocimiento de contradicciones, aplicación de marcos a escenarios novedosos y extrapolación a desarrollos macroeconómicos no vistos.

2. Arquitectura del Conjunto de Datos (v0.6)

La versión liberada comprende un conjunto de datos verificado por fuentes primarias:

• 118 Tarjetas de Principios: Principios de inversión resueltos por revisores con criterios operativos explícitos y citas de fuentes.
• 25 Tarjetas de Marcos de Decisión: Representaciones en JSON estructurado de los procesos de decisión de inversores, anotadas con metadatos de topología (p. ej., lineal_secuencial, umbral_paralelo, rama_condicional) y lógica de puertas.
• 243 Preguntas de QA: 197 preguntas de desarrollo y 46 de prueba (held-out), incluyendo 8 preguntas de dificultad experta ("hard") dirigidas a patrones específicos de fallo a nivel de puerta.
• Programas de Razonamiento de Oro (GRPs): Para las preguntas L4 y L7, el conjunto de datos incluye "programas de oro" estructurados que definen la secuencia exacta de puertas, veredictos (PROCEDER/REJECT/INCONCLUSIVO) y elementos requeridos, permitiendo la evaluación dual de la ejecución (veredicto final) y la precisión del programa (camino de razonamiento).

3. Protocolo de Evaluación

El benchmark emplea un diseño de tres condiciones para descomponer las brechas de rendimiento:

• Condición A (Libro cerrado): Evalúa el conocimiento de pre-entrenamiento.
• Condición B (Aumentada por PKB/RAG): Evalúa el razonismo aumentado por recuperación utilizando las 3 tarjetas de principios recuperadas.
• Condición C (Oráculo): Evalúa la aplicación procedimental mediante la inyección de la tarjeta de marco exacta de la verdad fundamental (ground-truth).

4. Pipeline de Calificación Automatizada (BASP)

Para reemplazar las rúbricas cualitativas, el artículo introduce el Pipeline de Calificación Automatizada de Benchmarks (BASP), que consta de cinco métricas algorítmicas:

1. OGRS (Puntuación de Reconstrucción de Puertas Ordenadas): Penaliza tanto la omisión de puertas como el orden incorrecto.
2. KCCS (Puntuación de Cobertura de Criterio de Eliminación): Mide la cobertura F1 de las condiciones específicas que activan una "eliminación" (rechazo).
3. SAP@k (Precisión de Atribución de Fuente): Evalúa la atribución a nivel de entidad, documento y contexto.
4. IVP (Precisión de la Voz del Inversor): Utiliza embeddings para asegurar que la respuesta del modelo retenga la firma léxica y conceptual específica del inversor atribuido.
5. CKCA (Precisión de Criterio de Eliminación Compuesto): Evalúa marcos institucionales con criterios de eliminación de múltiples componentes.

Además, el algoritmo del Protocolo de Detección de Modos de Fallo (FMDP) detecta algorítmicamente seis modos de fallo (p. ej., Puerta Alucinada, Conflación Temporal) con reglas computables. Una métrica más estricta, la Precisión de Reconstrucción de Puertas (GRA), evalúa la reconstrucción por puerta (nombre, veredicto, elementos) para exponer déficits enmascarados por puntuaciones compuestas.

Resultados Clave (Ola de Sanidad v0.6)

El artículo reporta una "ola de sanidad" preliminar (W1) evaluando cuatro modelos (Claude Sonnet 4.6, GPT-5.5, Gemini Flash Lite, Gemini 3.5 Flash) bajo la Condición A (libro cerrado) utilizando un configurador de juez mixto.

• División por Nivel de Proveedor: Los modelos de frontera (Claude, GPT) superan significativamente a los modelos de bajo costo (Gemini) en todas las capas, con un colapso abrupto en L8 para estos últimos.
• Divergencia entre el Compuesto y la GRA:
  • Saturación del Compuesto: La puntuación compuesta BASP para los modelos de frontera es alta (p. ej., Claude L4 = 0.932), sin mostrar un "acantilado" entre las capas factuales (L3) y procedimentales (L4). Esto sugiere que la puntuación compuesta premia la prosa fluida y oculta los déficits procedimentales.
  • Déficit Procedimental Expuesto por la GRA: Cuando se evalúa con la métrica más estricta GRA (Precisión de Reconstrucción de Puertas), los modelos de frontera caen significativamente (L4 GRA ≈ 0.77; L7 GRA ≈ 0.57–0.62). Esto revela un déficit procedimental residual donde los modelos nombran correctamente las puertas pero fallan al reconstruir los criterios de eliminación o la lógica del veredicto.
• Modos de Fallo: Los modos de fallo más prevalentes son la Omisión del Criterio de Eliminación (FM-3, 42.5%) y el Aplanamiento de la Operacionalización (FM-5, 35.0%). Los modelos de frontera muestran tasas bajas de estos fallos en comparación con los modelos de bajo costo, que exhiben altas tasas de colapso procedimental.
• Piloto de Tres Condiciones: Un pequeño piloto (n=10) sugiere que, si bien proporcionar la fuente correcta (Oráculo) mejora las puntuaciones respecto al libro cerrado (Brecha de Conocimiento), la recuperación dirigida (Condición B) a veces supera a la inyección de marco completo (Condición C), probablemente debido a la distracción por contexto largo. Persiste una Brecha de Aplicación incluso con la fuente correcta en el contexto.

Significado y Reivindicaciones

El artículo posiciona a InvestPhilBench como una contribución de metodología y benchmark más que como un ranking definitivo de modelos. Sus principales reivindicaciones son:

1. Innovación Metodológica: Es el primer benchmark que evalúa a los LLMs en la reconstrucción procedimental de marcos de inversión de expertos, yendo más allá de la recuperación de hechos o la evaluación basada en resultados.
2. Diseño de Métricas: Demuestra que la puntuación compuesta se satura en la frontera, enmascarando déficits procedimentales. La métrica GRA (Precisión de Reconstrucción de Puertas) se presenta como la herramienta necesaria para exponer estos déficits, distinguiendo entre la prosa fluida y la lógica de puertas correcta.
3. Taxonomía de Modos de Fallo: Proporciona una taxonomía cuantificada de errores sistemáticos (p. ej., Conflación Temporal, Difusión de Voz) con reglas de detección algorítmica, ofreciendo un marco de diagnóstico para la mejora de los modelos.
4. Resistencia a la Contaminación: Mediante la perturbación dinámica (sustitución de métricas, desplazamiento temporal) y un protocolo de frontera de carrera de "inversor vivo", el benchmark busca resistir la contaminación de datos de los corpora de pre-entrenamiento.

Los autores declaran explícitamente que los resultados empíricos presentados son una "ola de sanidad" preliminar destinada a probar el diseño de las métricas. El ranking completo de múltiples modelos, los resultados de juez unificado de de-conflicción y los estudios de fiabilidad humana se difieren para la versión v1.0. El artículo concluye que distinguir la comprensión procedimental genuina de la recuperación por coincidencia de patrones es crítico para el despliegue seguro de los LLMs en las finanzas institucionales, y que InvestPhilBench proporciona la infraestructura para hacer esta distinción.