No mundo dos dados, a informação frequentemente chega em grades retangulares organizadas: linhas de clientes, colunas de transações e células preenchidas com números ou categorias. Durante décadas, a maneira mais confiável de encontrar padrões nessas grades era usar um tipo específico de programa de computador conhecido como árvore de decisão de gradiente impulsionado (gradient-boosted decision tree). Esses programas são como uma equipe de especialistas que fazem uma série de perguntas simples de sim ou não para classificar os dados, construindo uma estrutura complexa de tomada de decisão peça por peça. Eles são incrivelmente eficazes, mas possuem uma limitação significativa: devem ser treinados do zero para cada novo conjunto de dados. Se uma empresa deseja prever a rotatividade de clientes para um produto e depois mudar para prever a inadimplência de empréstimos para outro, o modelo deve ser retreinado, um processo que exige tempo, poder computacional e um ajuste cuidadoso das configurações.

Recentemente, uma nova abordagem surgiu, que toma emprestada uma técnica do estudo da linguagem. Em vez de treinar um novo modelo para cada tarefa, esses sistemas mais novos usam um único modelo de fundação pré-treinado que pode aprender com exemplos fornecidos no momento. Este método, chamado de aprendizado em contexto (in-context learning), permite que o modelo observe alguns exemplos do problema que está tentando resolver e, então, faça uma previsão para um novo caso sem jamais alterar suas configurações internas. Embora isso ofereça um caminho promissor para uma ferramenta universal para dados tabulares, um grande obstáculo permanece. À medida que a quantidade de dados históricos que o modelo precisa considerar cresce, o tempo necessário para fazer uma única previsão explode. O modelo deve comparar cada nova pergunta com cada um dos dados passados que já viu, criando um gargalo computacional que torna o uso impraticável para aplicações em larga escala e em tempo real.

Pesquisadores da Universidade de Cambridge abordaram esse gargalo com um método que chamam de Localized TabICLv2. O trabalho deles foca em uma versão específica do modelo de aprendizado em contexto conhecida como TabICLv2, que já demonstrou desempenho de ponta em várias tarefas de classificação. O problema central com o modelo original é que, durante sua etapa final de previsão, ele força cada novo ponto de dado a prestar atenção a todo o conjunto de dados de treinamento simultaneamente. Se um conjunto de dados contém centenas de milhares de linhas, o modelo deve processar uma quantidade massiva de informações para cada consulta, levando a tempos de resposta lentos e altos custos de energia. Os pesquisadores fizeram uma pergunta simples: um modelo realmente precisa olhar para todos os exemplos passados para fazer uma boa previsão, ou ele pode encontrar um grupo menor e mais relevante de exemplos que contenha as pistas necessárias?

Para responder a isso, a equipe introduziu uma etapa de recuperação que atua como um filtro antes que a previsão final seja feita. Em vez de alimentar todo o histórico de dados no modelo, eles primeiro convertem cada linha de dados em uma representação matemática que captura suas características essenciais. Quando uma nova consulta chega, o sistema pesquisa no histórico armazenado para encontrar as poucas dezenas de linhas que são mais semelhantes ao novo caso. Ele então alimenta apenas essas correspondências mais próximas, em vez de todo o conjunto de dados, no mecanismo de previsão. Essa abordagem é semelhante a como um ser humano poderia resolver um problema ao recordar um punhado de experiências passadas relevantes, em vez de tentar se lembrar de todos os eventos de sua vida. Ao limitar o contexto a esses vizinhos mais próximos, os pesquisadores reduziram drasticamente a quantidade de informação que o modelo precisava processar de uma só vez.

No entanto, simplesmente reduzir os dados não foi suficiente para manter a alta precisão do sistema original. O modelo havia sido treinado para esperar o contexto completo, então remover a maior parte dele causou inicialmente uma queda em seu desempenho. Para corrigir isso, os pesquisadores refinaram os mecanismos internos do modelo. Eles ajustaram a maneira como o modelo cria suas representações dos dados e a maneira como utiliza essas representações para fazer previsões, especificamente treinando-o para trabalhar bem com essa visão localizada e menor. Esse processo garantiu que o modelo aprendesse a extrair a informação mais crítica de apenas alguns exemplos, em vez de depender do volume bruto de dados para encontrar padrões.

Os resultados dessa abordagem foram medidos contra uma ampla gama de conjuntos de dados do mundo real, abrangendo desde a detecção de fraude em cartões de crédito até a rotatividade de clientes. Quando os pesquisadores testaram o modelo localizado em um benchmark padrão contendo trinta e oito conjuntos de dados diferentes, descobriram que a versão refinada preservava quase toda a precisidade do modelo completo. Especificamente, ela preservou 98,64 por cento do desempenho original, o que significa que fez quase tantas previsões corretas quanto a versão de contexto total, que é muito mais lenta. A compensação foi um ganho massivo de velocidade. Em cenários onde o modelo foi solicitado a processar dados em lotes, ele rodou mais do que duas vezes mais rápido. Em situações onde o modelo tinha que responder a uma única pergunta por vez, o aumento de velocidade foi ainda mais dramático, atingindo uma melhoria mediana de 249 vezes mais rápido que o sistema original.

O estudo também revelou que o tamanho do conjunto de dados importava significativamente para esses ganhos de velocidade. Quanto maior o conjunto de treinamento, mais benéfica se tornava a localização. Para conjuntos de dados menores, o tempo gasto procurando pelos vizinhos certos às vezes compensava o tempo economizado pelo processamento de menos dados. Mas conforme o número de linhas de treinamento crescia para centenas de milhares, o método localizado tornava-se cada vez mais eficiente, provando que a abordagem escala bem com os próprios tamanhos de dados que costumam atrasar esses modelos. Além disso, os pesquisadores compararam seu método com alternativas mais simples, como o uso de uma árvore de decisão padrão apenas nos vizinhos recuperados ou um sistema de votação básico. Seu modelo localizado superou consistentemente essas bases mais simples, demonstrando que a combinação de uma recuperação inteligente e um mecanismo de previsão especializado foi a chave para o sucesso.

Este trabalho sugere que o futuro do aprendizado de máquina tabular pode não residir na construção de modelos maiores que consomem mais energia, mas em tornar os modelos existentes mais inteligentes sobre qual informação eles precisam. Ao ensinar um poderoso modelo de fundação a focar apenas nos exemplos mais relevantes, os pesquisadores mostraram que é possível alcançar alta precisão sem o pesado custo computacional de processar conjuntos de dados inteiros. Os achados indicam que esses modelos podem ser tornados práticos para implantação no mundo real, onde velocidade e eficiência são tão importantes quanto o poder preditivo. Embora o método dependa da premissa de que os exemplos passados mais semelhantes são os mais informativos, os resultados mostram que essa premissa se mantém verdadeira através de uma vasta gama de tipos de dados. O estudo conclui que, com os ajustes certos, a promessa do aprendizado em contexto para dados tabulares pode ser realizada sem sacrificar a eficiência necessária para aplicações de larga escala.