HELIOS: Harmonizing Early Fusion, Late Fusion, and LLM Reasoning for Multi-Granular Table-Text Retrieval

O artigo apresenta o HELIOS, um modelo inovador que supera as limitações das abordagens de fusão precoce e tardia na recuperação de tabelas e textos ao combinar a extração de subgrafos bipartidos baseada em arestas, a expansão dinâmica de nós relevantes e o refinamento por LLM baseado em estrelas, alcançando desempenho superior no benchmark OTT-QA.

O essencial

Imagine que você precisa responder a uma pergunta muito específica, como: "De que cor é a camisa do time de futebol que o jogador escolhido em 27º lugar no draft de 2012 veste?"

Para responder a isso, você precisa de duas coisas:

1. Uma tabela com a lista de jogadores e suas escolhas.
2. Um texto (como um artigo da Wikipedia) que fale sobre a universidade desse jogador e as cores do seu time.

O problema é que encontrar essas duas peças de informação juntas é como tentar achar uma agulha em um palheiro, mas o palheiro é gigante e cheio de agulhas falsas.

Aqui está a explicação do método HELIOS (o "herói" do artigo) usando uma analogia simples:

O Problema: Os Detetives Antigos

Antes do HELIOS, existiam dois tipos de detetives tentando resolver esse mistério, mas ambos tinham defeitos:

1. O Detetive "Cego" (Fusão Precoce): Ele pega a tabela e cola nela todos os textos que parecem ter alguma relação, antes mesmo de ler a pergunta.
   • O defeito: Ele cola textos demais. Se a pergunta é sobre o jogador de 27º, ele pode colar textos sobre o jogador de 26º e 28º também. É como tentar achar uma resposta em um livro onde todas as páginas estão coladas umas nas outras; você se perde no excesso de informação.
2. O Detetive "Desconfiado" (Fusão Tardia): Ele olha apenas para a pergunta e tenta achar pedaços soltos da tabela e do texto que combinem.
   • O defeito: Ele pode pegar um pedaço da tabela que parece certo, mas esquecer de pegar o texto que explica a cor do time. É como encontrar a foto do jogador, mas esquecer de levar o manual que diz a cor da camisa.

Além disso, ambos têm dificuldade com perguntas que exigem "pensamento lógico", como somar números de uma coluna ou conectar três fatos diferentes (ex: Jogador -> Universidade -> Cores).

---

A Solução: O HELIOS (O Detetive Mestre)

O HELIOS é um novo sistema que combina o melhor dos dois mundos e adiciona um "cérebro" extra (uma Inteligência Artificial avançada) para resolver o caso. Ele funciona em três etapas, como se fosse uma investigação criminal bem organizada:

1. A Triagem Inteligente (Retrieval de Bordas)

Em vez de olhar para o jogador inteiro (o "nó") ou para o texto inteiro, o HELIOS olha para as conexões (as "bordas").

• Analogia: Imagine que a tabela e os textos são duas ilhas. Os detetives antigos tentavam pular de ilha em ilha de forma aleatória. O HELIOS, no entanto, constrói pontes específicas apenas entre o jogador específico e o texto específico que fala sobre ele.
• Resultado: Ele evita trazer textos inúteis (como o jogador de 26º) logo de cara, mantendo o foco no que realmente importa.

2. A Expansão do Mapa (Expansão de Nós)

Às vezes, a primeira conexão não é suficiente. O HELIOS pergunta: "Se eu sei quem é o jogador, quem mais está conectado a ele que eu ainda não vi?"

• Analogia: É como se o detetive tivesse um mapa. Ele começa com o suspeito principal e, se a pista estiver fraca, ele expande o mapa para incluir os vizinhos imediatos, mas só os que são relevantes para a pergunta. Ele não expande para todo o bairro, apenas para as ruas que levam à resposta.
• Resultado: Ele garante que não vai perder informações importantes que estavam "escondidas" atrás de uma conexão secundária.

3. O Juiz Final (Refinamento com LLM)

Agora que o HELIOS tem um conjunto de pistas (uma "estrela" de informações), ele usa um Cérebro Artificial (LLM) para ler tudo e pensar logicamente.

• Analogia: Imagine que o HELIOS reuniu todas as provas em uma mesa. O Cérebro Artificial é o Juiz que olha para as provas e diz: "Espera aí! A tabela diz que o jogador foi escolhido em 2009. O texto diz que o time mudou de cor em 2010. A resposta certa é a cor de 2010, não a de 2009!"
• O Pulo do Gato: O HELIOS não joga todo o texto gigante para o Juiz. Ele divide as provas em pequenos "pacotes" (estrelas) para que o Juiz não fique confuso ou alucine (inventar fatos). O Juiz então faz a soma, a contagem ou a lógica necessária para dar a resposta final.

---

Por que isso é incrível?

O HELIOS foi testado em um campeonato de perguntas e respostas (chamado OTT-QA) e venceu todos os outros métodos com folga.

• Ele foi 42,6% melhor em encontrar a resposta correta logo de cara.
• Ele foi 39,9% melhor em organizar as informações de forma que a resposta ficasse no topo da lista.

Resumo da Ópera:
O HELIOS é como um detetive que não apenas olha para os arquivos (tabelas) e para as testemunhas (textos) separadamente, mas que sabe exatamente como conectar as duas coisas, expande a investigação apenas quando necessário e, por fim, usa um super-advogado (IA) para interpretar as provas e garantir que a lógica esteja perfeita. Ele evita o excesso de informação e a falta de contexto, entregando a resposta certa com precisão cirúrgica.

Resumo técnico

1. O Problema

A tarefa de Recuperação de Tabelas e Texto visa encontrar tabelas e trechos de texto relevantes para apoiar sistemas de Resposta a Perguntas em Domínio Aberto (ODQA). Embora os dados estruturados (tabelas) ofereçam fatos precisos e os dados não estruturados (texto) forneçam contexto amplo, integrar essas duas modalidades é desafiador.

Os métodos existentes enfrentam três limitações principais:

1. Granularidade Inadequada da Unidade de Recuperação:
   • Fusão Antiga (Early Fusion): Agrupa linhas de tabelas com passagens associadas (via entity linking) antes da consulta, formando "blocos fundidos" ou "estrelas". Isso frequentemente inclui contextos irrelevantes, distorcendo o cálculo de similaridade.
   • Fusão Tardia (Late Fusion): Recupera nós individuais (linhas ou passagens) dinamicamente. O risco aqui é recuperar tabelas incorretas devido a sobreposição de termos (ex: duas tabelas diferentes com a palavra "Grammy"), gerando ambiguidade.
2. Falta de Relacionamentos Dependentes da Consulta: Métodos baseados em early fusion dependem de links pré-definidos que podem não capturar relações específicas necessárias para responder a uma pergunta complexa.
3. Incapacidade de Raciocínio Avançado: Abordagens anteriores baseiam-se principalmente em similaridade semântica, falhando em tarefas que exigem inferência lógica complexa, como agregação coluna a coluna (ex: encontrar o "maior valor" ou "mais recente") e raciocínio multi-hop (ex: conectar entidades através de múltiplos documentos).

2. Metodologia: HELIOS

O HELIOS propõe um framework de recuperação baseado em grafos que harmoniza os pontos fortes da fusão antiga, fusão tardia e raciocínio de Grandes Modelos de Linguagem (LLMs). O sistema opera em três etapas principais:

Etapa 1: Recuperação de Subgrafo Bipartido Baseada em Arestas (Edge-based Bipartite Subgraph Retrieval)

• Objetivo: Evitar a inclusão de contextos irrelevantes comuns na fusão antiga.
• Mecanismo: Em vez de recuperar "estrelas" inteiras (tabela + todas as passagens ligadas), o sistema recupera arestas específicas entre segmentos de tabela e passagens.
• Técnica: Utiliza um codificador de múltiplos vetores (baseado em ColBERTv2) para criar embeddings finos das arestas (sequências tokenizadas contendo o segmento da tabela e a passagem). Isso permite uma interação tardia (late interaction) mais precisa, reduzindo a perda de informação e o ruído.

Etapa 2: Expansão de Nós Relevantes à Consulta (Query-relevant Node Expansion)

• Objetivo: Mitigar o risco de perder contextos importantes que não foram capturados na etapa inicial (problema da fusão tardia).
• Mecanismo: Um processo de busca em feixe (beam search) que expande o subgrafo candidato.
  1. Seleção de Nós Semente: Identifica os nós mais relevantes no subgrafo inicial em relação à consulta.
  2. Expansão: Para cada nó semente, o sistema busca dinamicamente novos nós adjacentes no grafo completo que tenham alta probabilidade de relevância condicional à consulta.
• Resultado: O grafo é expandido apenas com nós estritamente alinhados ao contexto da consulta, minimizando a recuperação de informações irrelevantes.

Etapa 3: Refinamento Baseado em Estrelas com LLM (Star-based LLM Refinement)

• Objetivo: Realizar inferência lógica avançada que a similaridade semântica pura não consegue.
• Mecanismo: O grafo expandido é decomposto em "grafos de estrela" (um nó central de tabela conectado a suas passagens) e apresentado ao LLM.
• Duas Sub-funções:
  1. Agregação Coluna a Coluna: O LLM verifica se a consulta exige agregação (ex: "qual o mais recente?"). Se sim, ele restaura a estrutura da tabela e identifica as linhas corretas que satisfazem a condição lógica.
  2. Verificação de Passagens: O LLM atua como um verificador binário para eliminar "falsos negativos" (passagens irrelevantes) que podem ter sido incluídas nas etapas anteriores, garantindo que apenas evidências relevantes permaneçam.

3. Principais Contribuições

1. Arquitetura Híbrida Multi-Granular: HELIOS não escolhe entre fusão antiga ou tardia; ele as integra estrategicamente. Usa a fusão antiga para pré-alinhamento offline (reduzindo o espaço de busca) e a fusão tardia para refinamento dinâmico, determinando a granularidade ideal (aresta vs. nó) para cada etapa.
2. Recuperação Baseada em Arestas: Propõe a aresta (par tabela-passage) como a unidade fundamental de recuperação inicial, superando as limitações de granularidade de blocos inteiros ou nós isolados.
3. Refinamento Lógico com LLM: Introduz um módulo de refinamento que utiliza LLMs não apenas para gerar respostas, mas para reestruturar a recuperação, realizando agregação lógica e verificação de relevância dentro do grafo recuperado.
4. Formalização em Grafos: Oferece uma formalização unificada de métodos de recuperação anteriores (fusão antiga como estrelas, fusão tardia como arestas) dentro de um grafo bipartido, permitindo uma análise e otimização sistemática.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados OTT-QA (o principal benchmark para QA sobre tabelas e texto) e MultimodalQA.

• Desempenho na Recuperação (OTT-QA):
  • O HELIOS superou significativamente os modelos State-of-the-Art (SOTA).
  • Recall (AR@2): Melhoria de 42,6% em relação ao modelo COS (o melhor concorrente).
  • nDCG@50: Melhoria de 39,9%.
  • Hits@4K: Melhoria de 12,2%.
• Desempenho em QA End-to-End:
  • O sistema demonstrou ganhos consistentes em métricas EM (Exact Match) e F1, tanto com leitores baseados em modelos de linguagem menores (FiE) quanto com modelos grandes (GPT-4o, Llama-3.1-70B).
  • A melhoria na recuperação de evidências traduziu-se diretamente em melhores taxas de resposta correta.
• Análise de Eficiência:
  • Embora o HELIOS seja mais lento que métodos de recuperação simples (devido ao uso de beam search e LLM), o tempo de execução (aprox. 5s) é considerado aceitável para aplicações de alta precisão, oferecendo o melhor equilíbrio entre latência e acurácia.
• Estudos de Ablação:
  • A remoção da etapa de expansão de nós (QNE) ou do refinamento com LLM (SLR) resultou em quedas significativas de desempenho, confirmando que ambas as etapas são essenciais para lidar com consultas complexas e evitar alucinações ou perda de contexto.

5. Significado e Impacto

O HELIOS representa um avanço significativo na interseção entre recuperação de informação e raciocínio de IA.

• Superação de Limitações de Similaridade: Demonstra que a similaridade semântica pura é insuficiente para tarefas de QA complexas que envolvem tabelas, e que a integração de raciocínio lógico (via LLM) no processo de recuperação é crucial.
• Escalabilidade e Generalização: O método mostrou robustez ao ser testado em diferentes datasets e com diferentes modelos de leitor, sugerindo que uma recuperação de alta qualidade é um pré-requisito fundamental para o sucesso de sistemas de QA.
• Futuro: O trabalho abre caminho para a extensão de grafos de recuperação para outras modalidades (como imagens) e para o desenvolvimento de técnicas de auto-avaliação para reduzir ainda mais as alucinações dos LLMs durante o refinamento.

Em resumo, o HELIOS estabelece um novo padrão para a recuperação de dados híbridos (tabela-texto), provando que a combinação inteligente de técnicas de recuperação tradicionais com capacidades de raciocínio de LLMs é a chave para resolver problemas complexos de resposta a perguntas.