Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification

1. Problema y Contexto

El artículo aborda el desafío de clasificar los discursos corporativos (como informes de ganancias y comunicados de prensa) para predecir la dirección de los rendimientos bursátiles al día siguiente.

• Limitación de los LLMs Zero-Shot: Aunque los Grandes Modelos de Lenguaje (LLM) pueden analizar texto sin ajuste fino (fine-tuning), sus predicciones suelen ser inestables. Varían significativamente según el prompt, el estilo de razonamiento y la familia del modelo.
• Complejidad del Texto Financiero: Los discursos corporativos a menudo contienen señales mixtas (ej. buenos resultados actuales pero perspectivas futuras débiles, o crecimiento de ingresos junto con riesgos legales). Un solo agente zero-shot puede sesgarse hacia un aspecto específico del texto dependiendo de cómo se le formule la pregunta, perdiendo el equilibrio global.
• Pregunta Central: ¿Puede la discrepancia entre múltiples agentes zero-shot convertirse en una característica útil en lugar de un defecto?

2. Metodología

El autor propone un marco de agente múltiple que no requiere ajustar los modelos base, sino entrenar una capa de agregación ligera.

A. Configuración de Agentes (Zero-Shot)

Se utilizan tres agentes independientes que leen el mismo texto de divulgación pero con diferentes lentes financieros:

1. Agente de Rendimiento: Se enfoca en resultados operativos realizados (ganancias, ingresos, márgenes, costos).
2. Agente de Orientación (Guidance): Se enfoca en la orientación futura, perspectivas de la gerencia y revisiones de expectativas.
3. Agente de Riesgo: Se enfoca en incertidumbre, litigios, regulación, liquidez y riesgos a la baja.

Cada agente genera una tupla de salida:

• Etiqueta de sentimiento: Positivo (+1), Neutral (0), Negativo (-1).
• Puntuación de confianza: Un número entre 0 y 1 (derivado de la probabilidad de los tokens generados o un campo explícito).
• Racional breve: Una oración que justifica la decisión.

Modelos utilizados: Se emplea un conjunto de modelos (Qwen2.5-3B, Llama-3.2-3B, Qwen2.5-72B), aunque el marco es agnóstico al modelo.

B. Estrategia de Agregación

En lugar de usar una votación simple, se entrena un clasificador meta-logístico ligero (agregador).

• Entrada del clasificador: Un vector de características que incluye las etiquetas de los 3 agentes, sus puntuaciones de confianza, la etiqueta de mayoría, conteos de etiquetas, número de agentes que coinciden y la brecha de confianza entre los agentes más seguros.
• Objetivo: Predecir la dirección del rendimiento de la acción al día siguiente (1 si positivo, 0 si negativo/neutral).
• Entrenamiento: Solo se entrena el agregador; los LLMs base permanecen congelados. Esto asegura eficiencia de datos y evita el sobreajuste de los modelos grandes.

C. Datos y Evaluación

• Muestra: 18,420 divulgaciones corporativas de empresas de EE. UU. (Nasdaq y S&P 500) entre 2018 y 2024.
• División: 60% entrenamiento, 20% desarrollo, 20% prueba (división cronológica para evitar fugas de información).
• Líneas base comparadas: Agentes individuales, votación por mayoría, votación ponderada por confianza y un modelo FinBERT.

3. Contribuciones Clave

1. Configuración Compacta Multi-Agente: Introduce un enfoque zero-shot específico para clasificaciones de divulgación corporativa que utiliza la diversidad de perspectivas (rendimiento, guía, riesgo).
2. Validación de la Agregación Entrenada: Demuestra que un agregador entrenado supera a las reglas de votación estáticas (mayoría o ponderada) y a los agentes individuales.
3. Análisis de Señales Mixtas: Identifica que la agregación es más efectiva en casos donde el texto contiene señales contradictorias (ej. buenos resultados vs. malas perspectivas), transformando la "desacuerdo" en información valiosa.

4. Resultados Principales

Los resultados en el conjunto de prueba fuera de muestra muestran una mejora significativa:

• Precisión Equilibrada (Balanced Accuracy):
  • Mejor agente individual (Agente de Orientación): 0.561
  • Votación por mayoría: 0.573
  • Votación ponderada por confianza: 0.584
  • Agregador Entrenado: 0.612
• Análisis por Regímenes de Acuerdo:
  • Cuando los tres agentes están de acuerdo, la mejora del agregador es modesta.
  • En casos de conflicto alto (2 vs 1 o desacuerdos fuertes), el agregador entrenado supera drásticamente a la votación por mayoría (0.581 vs 0.517 en casos de alto conflicto).
• Interpretación de Errores: El agregador corrige los sesgos de los agentes individuales (ej. el agente de riesgo que sobre-reacciona a lenguaje cauteloso estándar) aprendiendo a pesar las señales basándose en la estructura de desacuerdo y la confianza.

5. Significado e Implicaciones

• La Discrepancia como Señal: El trabajo demuestra que el desacuerdo entre agentes zero-shot no es ruido, sino una señal informativa que captura la complejidad de los textos financieros.
• Eficiencia y Escalabilidad: Al no requerir fine-tuning de modelos masivos, el sistema es ligero, interpretable y viable para entornos financieros donde las etiquetas de alta calidad son escasas o costosas.
• Aplicabilidad Financiera: Ofrece un camino robusto para la clasificación de texto financiero que supera a los métodos tradicionales (como FinBERT) y a las reglas de votación simples, especialmente en escenarios de mercado complejos donde las señales positivas y negativas coexisten.

En conclusión, el paper valida que un agregador supervisado ligero puede sintetizar juicios financieros diversos y contradictorios de modelos zero-shot para generar una señal de predicción de mercado superior, convirtiendo la diversidad de perspectivas en una ventaja competitiva.