Resumo Técnico: Medição Eficaz de Desempenho: Desafios e Oportunidades na Extração de KPIs de Conferências de Resultados

Declaração do Problema

Embora as conferências de resultados sejam uma fonte crítica de informações financeiras em tempo real para investidores, a extração de Indicadores-Chave de Desempenho (KPIs) delas permanece um desafio significativo. Diferentemente dos arquivos estruturados da SEC (por exemplo, 10-Qs e 10-Ks), que são baseados em modelos e frequentemente utilizam tags XBRL, as conferências de resultados são desestruturadas, conversacionais e carecem de rótulos incorporados. Essa "mudança de domínio" cria uma barreira linguística onde modelos treinados em arquivos estruturados falham em generalizar para a natureza fluida das conferências. Além disso, conjuntos de dados e métodos existentes frequentemente dependem de taxonomias pré-definidas, que não conseguem capturar os KPIs emergentes e de fim aberto frequentemente discutidos nessas conferências.

Metodologia

Os autores propõem um framework abrangente para abordar esses desafios, transitando de domínios estruturados estabelecidos para dados conversacionais desestruturados.

1. Criação de Benchmarks

O estudo introduz três conjuntos de dados inovadores derivados de 20 empresas do S&P 500:

• Benchmark de Arquivos da SEC (SECB): Um conjunto de dados projetado para preservar um contexto mais amplo do que trabalhos anteriores (como HiFi-KPI), preenchendo a lacuna entre arquivos baseados em modelos e texto conversacional. Utiliza pseudo-tags (regex_dollar, regex_percentage) para capturar KPIs não anotados.
• Benchmark de Conferências de Resultados (ECB): Um conjunto de dados em grande escala de 10.477 trechos de conferências de resultados de 2023–2024, segmentados por turnos de fala.
• ECB-A (Anotado): Um subconjunto de avaliação de alta qualidade contendo 587 trechos com 2.460 entidades anotadas por especialistas e 934 grupos relacionais. As anotações foram realizadas por um especialista do domínio usando um processo de duas etapas (identificação seguida por verificação de relação) para distinguir entre métricas tradicionais (financeiras) e não tradicionais (operacionais).

2. Paradigmas Experimentais

Os autores avaliam duas abordagens distintas:

• Modelos Baseados em Codificadores (Ajuste Fino): Eles avaliam as capacidades de generalização de modelos ajustados finamente em arquivos da SEC (SEC-BERT-Base, BERT-SL1000 e variantes) quando aplicados a conferências de resultados. Estes são tratados como tarefas de rotulagem de sequências.
• Aprendizado em Contexto (Generativo): Eles utilizam Modelos de Linguagem de Grande Escala (LLMs) de Estado da Arte (Llama-3.3, Qwen3-30B-A3B, Gemma-3-27B e Gemini 3 Pro) com prompts estruturados de poucos exemplos. Esta abordagem emprega uma estratégia de extração de relações para extrair dinamicamente KPIs sem depender de uma taxonomia fechada. O sistema identifica intervalos de entidades (nome do KPI, valor, escopo, data, modalidade) e os agrega em grupos relacionais.

3. Métricas de Avaliação

A avaliação no ECB-A utiliza um sistema de pontuação multifacetado:

• F1 Exato: Requer correspondências exatas de strings tanto para valor quanto para rótulo.
• F1 Semântico: Utiliza similaridade de codificador cruzado (STSB-RoBERTa-Large) para permitir mapeamentos muitos-para-um, capturando equivalência semântica mesmo se as fronteiras lexicais diferirem.
• F1 de Correspondência: Uma pontuação F1 suave que alinha previsões a verdades fundamentais por valor.
• Julgador LLM: Uma avaliação automatizada usando DeepSeek-V3.2 para determinar se a extração de um modelo é semanticamente equivalente à anotação de especialista.
• Avaliação Humana: Uma etapa final de validação envolvendo três avaliadores para verificar a precisão da saída agregada do sistema.

Principais Resultados

1. Limitações da Mudança de Domínio

Modelos baseados em codificadores ajustados finamente em arquivos da SEC (por exemplo, SEC-BERT-Base) demonstraram pouca generalização para conferências de resultados. Embora tenham desempenho razoável em conjuntos de dados estruturados (FiNER-139, HiFi-KPI), seu desempenho caiu significativamente no ECB-A, frequentemente falhando em prever rótulos compatíveis para números extraídos. Isso confirma que a mudança linguística de arquivos baseados em modelos para conferências conversacionais é um grande obstáculo para abordagens tradicionais de rotulagem de sequências.

2. Desempenho de Modelos Generativos

LLMs generativos superaram significativamente os codificadores treinados na SEC no domínio desestruturado de conferências de resultados.

• Gemini 3 Pro alcançou o melhor desempenho com um F1 Exato de 11,5% e extraiu 45,5% dos KPIs anotados de acordo com o Julgador LLM.
• Métricas Semânticas: Embora as pontuações de F1 Exato permanecessem baixas (variando de 3,2% a 11,5%), as pontuações de F1 Semântico foram substancialmente mais altas (até 61,6% para Gemini 3 Pro). Isso indica que os LLMs capturam com sucesso conceitos e relações financeiras subjacentes, mesmo quando lutam com fronteiras lexicais estritas.
• Escalonamento: O desempenho melhorou com o escalonamento do modelo, sugerindo que a complexidade da tarefa beneficia-se de capacidades de modelo maiores.

3. Agregação de Sistema e Rastreamento Longitudinal

Ao agregar saídas de múltiplos modelos (Gemma, Llama, Qwen) e aplicar agrupamento semântico (com um limiar de similaridade de 0,85), os autores criaram um sistema capaz de rastreamento longitudinal consistente de KPIs sem ontologias pré-definidas.

• O sistema identificou 1.323 KPIs rastreados consistentemente em pelo menos quatro períodos para as 20 empresas.
• Validação Humana: O sistema agregado final alcançou uma precisão de 79,67% (478/600) na avaliação humana, apesar de um acordo moderado entre anotadores (Krippendorff's $\alpha$ = 0,429).
• Estudo de Caso: O sistema rastreou com sucesso a "Receita do iPhone" ao longo de vários trimestres, alinhando-se perfeitamente aos valores reportados na SEC, demonstrando sua utilidade para análise financeira.

Significado e Alegações

O artigo afirma fornecer uma base robusta para a tarefa emergente de extração automatizada de KPIs de conferências de resultados. Suas principais contribuições são:

1. Demonstrar o Limite dos Métodos Atuais: Mostra empiricamente que modelos treinados em arquivos estruturados da SEC não generalizam para a linguagem subjetiva, promocional e desestruturada das conferências de resultados.
2. Introdução de Benchmarks: O lançamento de SECB, ECB e ECB-A preenche uma lacuna crítica nos recursos de PLN financeiro, fornecendo o primeiro conjunto de dados anotado por especialistas especificamente para extração de KPIs de conferências de resultados.
3. Validação de LLMs para Extração de Fim Aberto: O estudo estabelece que LLMs, quando guiados por prompts estruturados, podem extrair efetivamente KPIs emergentes de texto desestruturado, superando codificadores tradicionais.
4. Aplicação Prática: O sistema proposto permite o rastreamento consistente de KPIs ao longo do tempo, oferecendo um caminho para processamento mais rápido e eficiente de novas informações financeiras para análise de mercado.

Os autores permanecem modestos quanto ao estado atual da arte, reconhecendo que, embora o sistema mostre promessa, a taxa de erro exige supervisão humana. Eles observam que a alta variabilidade na "cultura de conferências" entre diferentes empresas e a ambiguidade inerente das sessões de perguntas e respostas apresentam desafios contínuos. O trabalho serve como um passo fundamental para ferramentas de tomada de decisão financeira em tempo real, destacando que, embora a autonomia total ainda não seja alcançada, a trajetória rumo à absorção eficiente e automatizada de dados de conferências de resultados é viável.