Resumen Técnico: Cuando los resúmenes distorsionan las decisiones: Fidelidad de la información en el análisis financiero comprimido mediante LLM

1. Formulación del problema

En dominios financieros de alto riesgo, los tomadores de decisiones dependen de los Modelos de Lenguaje de Gran Escala (LLM) para comprimir documentos extensos (por ejemplo, informes 10-Q, transcripciones de llamadas de resultados) en contextos más breves. Mientras que las evaluaciones existentes se centran en la calidad de la reconstrucción, la consistencia fáctica o la preservación de la información superficial, a menudo no logran evaluar si el contexto comprimido preserva la decisión implícita en la fuente original.

El artículo define la Fidelidad de la Información como la preservación de la decisión relativa a la fuente: una compresión tiene alta fidelidad si la distribución de creencias inducida por el texto comprimido permanece cercana a la de la fuente original. El modo de falla central identificado no es simplemente la alucinación, sino la distorsión de la decisión, donde un resumen fluido y fácticamente plausible conduce a un tomador de decisiones descendente a un juicio de inversión (Bajista/Neutral/Alcista) diferente al que apoyaría el texto completo de la fuente. Esta distorsión puede surgir de:

• Descontextualización: Retener hechos destacados salientes mientras se eliminan las salvedades, compensaciones o marcos de expectativas necesarios para una interpretación correcta.
• Dependencia del Modelo: Diferentes modelos de compresión preservan subconjuntos distintos de evidencia de la misma fuente, lo que conduce a sesgos sistemáticos y específicos de cada modelo en el resultado de la decisión.

2. Metodología

2.1 Configuración experimental

• Conjuntos de datos: El estudio utiliza 300 secciones MD&A de informes 10-Q y 297 transcripciones de llamadas de resultados de empresas del S&P 100 (Fiscal 2025 Q1–Q3).
• Modelo de decisión: Un modelo de decisión fijo ($E$), específicamente GEMINI-3.1-FLASH-LITE, que mapea el texto a una distribución de creencias sobre $\{bear, neutral, bull\}$ (bajista, neutral, alcista).
• Métricas:
  • Tasa de cambio de decisión (Decision Flip Rate): La fracción de documentos donde la etiqueta predicha principal cambia tras la compresión.
  • Distancia de Variación Total (TVD): Mide la magnitud del cambio de creencia incluso cuando la etiqueta principal permanece sin cambios.
  • Piso de ruido (Noise Floor): Establecido al hacer que el modelo de decisión vuelva a leer la fuente original sin compresión para cuantificar la aleatoriedad inherente del modelo.

2.2 Enfoques de compresión evaluados

1. Prompt ingenuo (Naive Prompt): Una compresión de un solo paso mediante LLM que selecciona los hechos "más materiales" dentro de un presupuesto fijo de viñetas (bullets).
2. Contextualización: Una modificación del prompt que instruye al LLM para preservar detalles que hagan interpretables los hechos (por ejemplo, comparaciones, salvedades) en lugar de solo hechos salientes aislados.
3. Poda de tokens (Token Pruning): Métodos como LLMLingua y LongLLMLingua que eliminan tokens de baja información.
4. Integrador: Fusionar resúmenes de múltiples modelos sin verificación de la fuente.
5. Compresión de Contexto Agéntica (ACC): Un proceso agéntico de dos etapas propuesto:
   • Generación: Se generan múltiples compresiones candidatas de la misma fuente utilizando diferentes modelos.
   • Auditoría: Un agente audita los desacuerdos entre los candidatos frente a la fuente original. Utiliza herramientas para realizar grep y leer segmentos específicos de la fuente para verificar si un candidato está sobrevalorando (por ejemplo, haciendo que la evidencia parezca más alcista o bajista de lo que la fuente respalda).
   • Selección: El agente selecciona el candidato con el menor riesgo de sobrevaloración y la mejor cobertura de localización de la fuente.

2.3 Análisis diagnóstico

Los autores emplean un inventario de hechos offline (inspirado en FActScore y SAFE) para descomponer los textos de la fuente en Hechos de Titular (señales primarias), Hechos de Contexto (calibradores/salvedades) y Texto Estándar (Boilerplate). Esto permite la cuantificación de la descontextualización (la eliminación desproporcionada de hechos de contexto).

3. Resultados clave

3.1 La pérdida de fidelidad es significativa

• Cambios de decisión: Todos los baselines de compresión de un solo paso exceden significativamente el "piso de ruido" del modelo de decisión. Para las MD&A de 10-Q, la compresión ingenua causó una tasa de cambio de decisión del 33.0%, comparado con un piso de ruido del 11.0%. Para las llamadas de resultados, la tasa fue del 23.9% frente al 8.8%.
• Deriva de creencias (Belief Drift): Incluso sin un cambio de etiqueta, la compresión causa cambios significativos en las distribuciones de creencias (TVD), lo que indica una pérdida de matices.
• Sensibilidad al presupuesto: Aumentar el presupuesto de compresión (más viñetas) reduce la TVD pero no elimina los cambios de decisión, lo que sugiere que simplemente añadir más espacio no resuelve el problema de qué información se selecciona.

3.2 Patrones diagnósticos

• Descontextualización: Bajo la compresión ingenua, la proporción de hechos de "contexto" cayó del 25% en la fuente al 9% en el output comprimido para las MD&As. Restaurar estos hechos de contexto eliminados en un experimento de "reincorporación" diagnóstica recuperó la decisión original en el 37% de los casos de cambio, superando significativamente la tasa de recuperación de los textos estándar o de hechos aleatorios.
• Dependencia del modelo: Diferentes compresores inducen diferentes cambios de decisión para el mismo ticker. Por ejemplo, un modelo podría desplazar una acción hacia "Bajista" mientras que otro la desplaza hacia "Alcista", con puntos de alta TVD que varían según el modelo. Esto confirma que la distorsión inducida por la compresión no es aleatoria, sino sistemática y específica del modelo.

3.2 Efectividad de la Compresión de Contexto Agéntica (ACC)

• Rendimiento de ACC: ACC redujo la tasa de cambio de decisión de las MD&A al 20.3% y la de las llamadas de resultados al 18.5%, superando tanto la compresión ingenua como el baseline "Integrador" (que simplemente fusiona resúmenes sin auditoría).
• Estudio de caso industrial: En un despliegue dentro de un producto comercial de previsión de acciones, ACC mejoró el Coeficiente de Información (IC) de previsión en un 8.3% respecto al baseline de la fuente original y un 23.8% respecto a la compresión ingenua, mientras reducía los cambios de decisión relativos a la fuente en un 59.5%.

4. Contribuciones

1. Criterio de Fidelidad de la Información: El artículo introduce una métrica centrada en la decisión para evaluar la compresión de contexto, yendo más allá de la veracidad fáctica para evaluar si se preserva la decisión implicada por la fuente.
2. Evidencia empírica de distorsión: Utilizando datos financieros reales, el estudio demuestra que la compresión por LLM frecuentemente altera los juicios de inversión, identificando la descontextualización y la dependencia del modelo como los mecanismos primarios.
3. Compresión de Contexto Agéntica (ACC): Los autores proponen y validan un procedimiento basado en la fuente que genera múltiples candidatos y los audita contra la fuente original para mitigar los cambios de decisión.

5. Significado y afirmaciones

El artículo argumenta que en la toma de decisiones financieras, preservar hechos aislados es insuficiente. El valor de un resumen radica en su capacidad para retener los calificadores contextuales (salvedades, comparaciones, encuadre) necesarios para interpretar esos hechos correctamente.

Los autores afirman que:

• La compresión debe evaluarse no solo por su eficiencia o veracidad superficial, sino por su capacidad de preservar el contexto relevante para la decisión.
• La distorsión de la decisión es un modo de falla sistemático que puede mitigarse mediante la auditoría de múltiples visiones comprimidas frente a la fuente, en lugar de confiar en el resumen de un solo modelo.
• En sistemas de producción, mantener la fidelidad de la información es crítico para retener las señales de previsión descendentes, ya que la compresión ingenua puede degradar el rendimiento del modelo incluso cuando el resumen parece fluido y plausible.

6. Limitaciones

Los autores señalan que sus hallazgos son específicos de las divulgaciones financieras de las empresas del S&P 100 y pueden no generalizarse a otros dominios. La fidelidad se mide a través de un modelo de decisión en lugar de analistas humanos o resultados de mercado realizados. Además, ACC reduce pero no elimina la pérdida de fidelidad, particularmente si todos los candidatos de compresión omiten la misma información crítica.